[논문 리뷰] PSCR: Patches Sampling-based Contrastive Regression for AIGC Image Quality Assessment

Jiquan Yuan, Xinyan Cao외 3명|arXiv (Cornell University)|2023. 12. 10.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 AIGC 이미지 품질 평가를 위한 패치 샘플링 기반의 대비 회귀 프레임워크인 PSCR를 제안한다. 이는 쿼리 이미지와 예시 이미지 간의 상대적 점수 회귀를 통해 분류 가능한 표현 공간을 학습함으로써 성능을 향상시키며, 겹치는 패치 샘플링을 통해 기하학적 왜곡을 방지한다. 이 방법은 세 가지 주요 AIGCIQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성했으며, SRCC에서 최대 +0.016, PLCC에서 최대 +0.012 향상되었다.

ABSTRACT

In recent years, Artificial Intelligence Generated Content (AIGC) has gained widespread attention beyond the computer science community. Due to various issues arising from continuous creation of AI-generated images (AIGI), AIGC image quality assessment (AIGCIQA), which aims to evaluate the quality of AIGIs from human perception perspectives, has emerged as a novel topic in the field of computer vision. However, most existing AIGCIQA methods directly regress predicted scores from a single generated image, overlooking the inherent differences among AIGIs and scores. Additionally, operations like resizing and cropping may cause global geometric distortions and information loss, thus limiting the performance of models. To address these issues, we propose a patches sampling-based contrastive regression (PSCR) framework. We suggest introducing a contrastive regression framework to leverage differences among various generated images for learning a better representation space. In this space, differences and score rankings among images can be measured by their relative scores. By selecting exemplar AIGIs as references, we also overcome the limitations of previous models that could not utilize reference images on the no-reference image databases. To avoid geometric distortions and information loss in image inputs, we further propose a patches sampling strategy. To demonstrate the effectiveness of our proposed PSCR framework, we conduct extensive experiments on three mainstream AIGCIQA databases including AGIQA-1K, AGIQA-3K and AIGCIQA2023. The results show significant improvements in model performance with the introduction of our proposed PSCR framework. Code will be available at \url{https://github.com/jiquan123/PSCR}.

연구 동기 및 목표

• 기존 AIGCIQA 방법들이 단일 이미지에서 점수를 직접 회귀함으로써 상호 이미지 간 차이를 활용하지 못하는 한계를 해결한다.
• 크기 조정 및 자르기와 같은 이미지 전처리 과정에서 발생하는 기하학적 왜곡과 정보 손실로 인한 성능 저하 문제를 해결한다.
• 기존 방법의 핵심 한계를 극복하고, 참조 이미지(예시)를 활용하여 단일 이미지 회귀를 넘어서는 비레퍼런스 AIGCIQA 모델을 가능하게 한다.
• AIGI 간 상대적 품질 순위를 모델링하여 표현 학습을 향상시키는, 강건하고 일반화 능력이 뛰어난 프레임워크를 개발한다.
• 슬라이딩 윈도우 기반의 겹치는 패치 샘플링 전략을 도입하여 AIGI 입력에서의 정보 손실과 구조적 손상을 최소화한다.

제안 방법

• 쿼리 AIGI와 무작위로 선택된 예시 AIGI 세트 간의 상대적 점수를 회귀하는 대비 회귀 프레임워크를 제안하여, 순위 인식 보조 학습을 통해 더 나은 표현 학습을 가능하게 한다.
• 원본 해상도 AIGI에 대해 슬라이딩 윈도우를 적용하여 겹치는, 겹치지 않는 패치를 추출하는 패치 샘플링 전략을 도입하여 전반적인 구조를 유지하고 정보 손실을 최소화한다.
• 딥 네URAL 네트워크 백본(예: VGG, ResNet, InceptionV4)을 사용해 추출된 패치에서 특징을 추출하고, 전역 풀링을 거친 후 회귀 헤드를 통해 점수를 예측한다.
• 유사한 상대적 점수를 가진 이미지의 표현은 가까이, 다를 경우 더 멀리 있도록 유도하는 대비 손실을 사용해 모델을 훈련한다.
• 기존 IQA 모델에 PSCR 프레임워크를 플러그인 모듈로 통합하여 다양한 백본과 데이터셋에 쉽게 적용할 수 있도록 한다.
• 훈련 안정성과 다양한 AIGI 분포에 대한 일반화 능력을 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 AIGI 간 상대적 품질 차이를 모델링하는 대비 회귀 프레임워크는 AIGCIQA 성능 향상에 기여하는가?
• RQ2 슬라이딩 윈도우를 통한 겹치는 패치 샘플링은 기존 자르기 또는 크기 조정 방식에 비해 기하학적 왜곡과 정보 손실을 줄이는가?
• RQ3 예시 기반 참조 이미지를 활용하면 단일 이미지 회귀를 넘어서 비레퍼런스 AIGCIQA 성능을 향상시킬 수 있는가?
• RQ4 PSCR 프레임워크는 SRCC 및 PLCC 측면에서 여러 AIGCIQA 벤치마크에서 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 내는가?
• RQ5 패치 샘플링 전략의 하이퍼파라미터(예: 스트라이드, 패치 크기)는 모델 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• PSCR 프레임워크는 AGIQA-1K, AGIQA-3K, AIGCIQA2023에서 최신 기술 수준 성능을 달성했으며, 백본으로 InceptionV4를 사용한 경우 SRCC 0.8498, PLCC 0.9059를 기록했다.
• InceptionV4를 사용한 PSCR 변종은 기준 모델 대비 SRCC에서 +0.016, PLCC에서 +0.0058 향상되어 뚜렷한 성능 향상을 입증했다.
• 절단 실험을 통해 패치 샘플링(PS) 및 대비 회귀(CR) 구성 요소가 성능 향상에 독립적이고 상호 보완적으로 기여하는 것으로 확인되었다.
• 모든 세 데이터셋에서 기준 모델(VGG16, VGG19, ResNet18, ResNet50, InceptionV4)을 모두 초월했으며, AIGCIQA2023에서 가장 큰 성능 향상을 기록했다.
• 예시 AIGI를 참조로 사용함으로써, 특히 저품질 또는 극도로 왜곡된 영역에서 더 강건하고 일반화 능력이 뛰어난 표현을 학습할 수 있었다.
• 슬라이딩 윈도우 기반의 패치 샘플링 전략은 정보 손실을 줄이고, AIGI 품질 평가에 핵심적인 국소 텍스처와 아티팩트를 유지함으로써 효과를 발휘했다.