[논문 리뷰] Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild

Avinab Saha, Sandeep Mishra외 1명|arXiv (Cornell University)|2023. 04. 02.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 Mixture of Experts 설정을 사용하여 고수준 콘텐츠 표현과 저수준 이미지 품질 표현을 함께 학습하는 새로운 비지도 학습 프레임워크 Re-IQA를 제안한다. 겹치는 이미지 패치와 다양한 왜곡에 기반한 대조 학습을 통해 두 개의 별도 인코더를 훈련시킴으로써 Re-IQA는 여러 무참조 이미지 품질 평가 벤치마크에서 최고 성능을 달성하며, 이는 비지도 품질 인식 특징이 선형 회귀기 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Automatic Perceptual Image Quality Assessment is a challenging problem that impacts billions of internet, and social media users daily. To advance research in this field, we propose a Mixture of Experts approach to train two separate encoders to learn high-level content and low-level image quality features in an unsupervised setting. The unique novelty of our approach is its ability to generate low-level representations of image quality that are complementary to high-level features representing image content. We refer to the framework used to train the two encoders as Re-IQA. For Image Quality Assessment in the Wild, we deploy the complementary low and high-level image representations obtained from the Re-IQA framework to train a linear regression model, which is used to map the image representations to the ground truth quality scores, refer Figure 1. Our method achieves state-of-the-art performance on multiple large-scale image quality assessment databases containing both real and synthetic distortions, demonstrating how deep neural networks can be trained in an unsupervised setting to produce perceptually relevant representations. We conclude from our experiments that the low and high-level features obtained are indeed complementary and positively impact the performance of the linear regressor. A public release of all the codes associated with this work will be made available on GitHub.

연구 동기 및 목표

• 무참조 이미지 품질 평가를 위한 시각적으로 관련성이 있는 보완적인 저수준 이미지 품질 표현과 고수준 콘텐츠 표현을 동시에 학습하는 비지도 프레임워크를 개발하는 것.
• 기준 이미지가 없고 왜곡이 다양하며 콘텐츠에 따라 달라지는 실제 환경에서의 정확한 이미지 품질 예측 도전 과제를 해결하는 것.
• 실제 왜곡된 이미지에서의 비지도 사전 훈련이 감독 기반 베이스라인과 경쟁 가능한 고품질 특징을 도출할 수 있음을 입증하는 것.
• Mixture of Experts 접근법이 콘텐츠와 품질 표현을 분리하여 IQA 성능 향상에 기여하는지 검증하는 것.

제안 방법

• Mixture of Experts 프레임워크는 MoCo-v2 대조 학습을 사용하는 고수준 콘텐츠 특징을 위한 인코더와 저수준 품질 인식 특징을 위한 별도의 인코더를 동시에 훈련시킨다.
• 품질 인식 인코더는 겹치는 이미지 패치를 기반으로 한 대조 학습 목표를 사용하여 인지적 품질 인식 특징(PQAF)을 학습한다. 이는 국소적인 품질 인식 유사성에 기반한다.
• 동일한 이미지에서 추출한 패치는 양성 쌍으로 사용하고, 다른 이미지의 패치는 부정 쌍으로 간주함으로써, 구분 가능한 품질 표현 학습을 강제한다.
• 이 프레임워크는 세 가지 핵심 가정을 수용한다: (1) 콘텐츠에 따라 이미지 내부에서 품질 인식이 국소적으로 다를 수 있다, (2) 서로 다른 출처의 이미지는 서로 다른 품질을 가진다, (3) 동일한 이미지의 다양한 왜곡은 다른 인지적 품질 점수를 유도한다.
• 사전 훈련 후 동결된 인코더는 KonIQ, AVA, LIVE-IQA 등의 데이터베이스에서 진짜 품질 점수를 예측하기 위해 선형 회귀기에 특징을 입력한다.
• 이 방법은 무참조(Re-IQA-NR) 및 전체 參照(Re-IQA-FR) 설정 모두에서 평가되며, 패치 겹침 정도와 모델 구성 요소에 대한 분석 연구도 수행된다.

실험 결과

연구 질문

• RQ1 비지도 대조 학습이 고수준 콘텐츠 특징과 보완적인 저수준 품질 인식 특징을 효과적으로 추출할 수 있는가?
• RQ2 콘텐츠 및 품질 표현을 함께 사용할 경우, 각각을 별도로 사용하는 것보다 무참조 이미지 품질 평가 성능이 향상되는가?
• RQ3 실제 왜곡된 이미지에서의 비지도 사전 훈련이 IQA 표현 학습에 있어 감독 기반 ImageNet 사전 훈련보다 어떻게 비교되는가?
• RQ4 이미지 내외에서 인지적 품질 변화에 대한 제안된 가정들이 효과적인 표현 학습을 뒷받침하는 데 얼마나 기여하는가?

주요 결과

• Re-IQA는 KonIQ, AVA, LIVE-IQ 등 여러 대규모 IQA 데이터베이스에서 최고 성능을 기록하며, KonIQ와 AVA에서 스피어먼의 순위상관계(SRCC) 점수가 0.85를 초과한다.
• 기준 이미지를 사용하는 Re-IQA-FR 버전은 Re-IQA-NR보다 略적으로 더 높은 SRCC와 PLCC 점수를 기록하여 추가 기준 정보의 이점이 있음을 확인한다.
• 품질 인식 특징의 t-SNE 시각화 결과는 고품질 및 저품질 이미지가 명확하게 군집되어 있으며, 중첩이 최소한이 되어 인지적 품질 수준 간 효과적인 분리가 이루어졌음을 보여준다.
• 분석 연구 결과 패치 겹침 정도가 성능에 상당한 영향을 미치며, 중간 정도의 겹침에서 최적의 성능이 달성되어 국소적 품질 인식 가정을 검증한다.
• MoCo-v2를 통해 비지도로 사전 훈련된 ResNet-50 인코더가 감독 기반 ImageNet 사전 훈련된 ResNet-50보다 IQA에서 콘텐츠 표현 품질 측면에서 뛰어나며, 실제 왜곡에서의 자기지도 사전 훈련의 이점이 뚜렷하다.