[논문 리뷰] NTIRE 2022 Challenge on Perceptual Image Quality Assessment

Jinjin Gu, Haoming Cai외 3명|arXiv (Cornell University)|2022. 06. 23.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 NTIRE 2022에서 인지적 이미지 품질 평가에 관한 챌린지를 제시하며, GAN 기반 및 인지 중심 왜곡에 대해 전반적 참조 및 무참조 IQA 방법을 평가하기 위해 PIPAL 데이터셋을 사용하는 새로운 벤치마크를 도입한다. 수상 모델들은 고도화된 아키텍처와 손실 함수를 통해 다양한 왜곡 유형에서 인간 평가와 뛰어난 상관관계를 보이며 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

This paper reports on the NTIRE 2022 challenge on perceptual image quality assessment (IQA), held in conjunction with the New Trends in Image Restoration and Enhancement workshop (NTIRE) workshop at CVPR 2022. This challenge is held to address the emerging challenge of IQA by perceptual image processing algorithms. The output images of these algorithms have completely different characteristics from traditional distortions and are included in the PIPAL dataset used in this challenge. This challenge is divided into two tracks, a full-reference IQA track similar to the previous NTIRE IQA challenge and a new track that focuses on the no-reference IQA methods. The challenge has 192 and 179 registered participants for two tracks. In the final testing stage, 7 and 8 participating teams submitted their models and fact sheets. Almost all of them have achieved better results than existing IQA methods, and the winning method can demonstrate state-of-the-art performance.

연구 동기 및 목표

• 최신 이미지 처리 파이프라인, 특히 GAN 기반 및 인지 중심 알고리즘을 사용하는 분야에서 인지적 이미지 품질 평가의 도전 과제를 해결하기 위해.
• 고도화된 이미지 복원 알고리즘으로부터 유래한 실제 세계 왜곡을 포함한 대규모이고 다양한 데이터셋을 활용해 기존 및 신규 IQA 방법을 벤치마크하기 위해.
• 복잡하고 전통적이지 않은 왜곡에 대해 빈도 없는 품질 평가의 혁신을 자극하기 위해 무참조 IQA 전용 트랙을 도입함으로써 무참조 IQA를 발전시키기 위해.
• 인간의 인지 기준 지표와 비교하여 새로운 IQA 모델을 평가하고 검증할 수 있는 표준화된 평가 플랫폼을 제공하기 위해.
• 구조화된 챌린지 프레임워크를 통해 공동체 차원의 경쟁과 협업을 촉진함으로써 인지적 이미지 품질 평가 분야의 발전을 이끌기 위해.

제안 방법

• 250개의 기준 이미지, 29,000개의 왜곡된 이미지, 188만 건의 인간 평가 결과를 포함하는 PIPAL 데이터셋을 사용하여 IQA 모델의 학습 및 평가를 수행하였다.
• 전반적 참조 IQA(왜곡된 이미지를 기준 이미지와 비교)와 무참조 IQA(기준 이미지 없이 왜곡된 이미지를 평가)의 두 가지 별도 트랙을 설계하였다.
• Transformer, CNN, 하이브리드 네트워크 등의 딥러닝 아키텍처를 활용하여 인지적 품질을 모델링하였으며, 주의 메커니즘이 특징 표현을 향상시켰다.
• 인간 평가와의 일치를 위해 피어슨 상관계수 손실, PLCC 손실, 트리플릿 랭킹 손실을 포함한 다중 손실 학습 전략을 적용하였다.
• 기본 학습률 0.0001, 50 에포크 동안 코사인 감쇠 스케줄을 적용한 AdamW 옵timizer를 사용하였으며, 배치 크기는 10으로 설정하였다.
• 일반화 및 다양한 왜곡 유형에 대한 강건성을 향상시키기 위해 앙상블 방법과 데이터 증강 기법을 통합하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 IQA 모델은 현대적인 GAN 기반 왜곡이 존재하는 상황에서 인간의 이미지 품질 인지 예측에 효과적으로 기여할 수 있는가?
• RQ2 기존의 전반적 참조 방법에 비해 무참조 IQA 모델은 인지 왜곡에 대해 어떻게 성능을 발휘하는가?
• RQ3 어떤 아키텍처 및 손실 함수 설계가 복잡하고 실제 세계의 왜곡에 대해 인간의 주관적 평가와 가장 높은 상관관계를 보이는가?
• RQ4 앙상블 방법과 다중 손실 학습이 새로운 왜곡 유형에 대해 IQA 모델의 일반화 능력과 성능을 얼마나 향상시키는가?
• RQ5 제안된 챌린지 프레임워크는 향후 인지 IQA 방법 개발을 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• 수상한 전반적 참조 모델(THU1919Group)은 PIPAL-NTIRE22-Test 점수 1.6511을 기록하였으며, SRCC 0.8227과 PLCC 0.8284를 달성하여 기준 모델을 크게 앞서갔다.
• 최상의 무참조 모델(THU_IIGROUP)은 점수 1.4436, SRCC 0.7040, PLCC 0.7396을 기록하여 기준 이미지 없이도 뛰어난 성능을 보였다.
• 모든 상위 성능 모델들이 전반적 참조 및 무참조 트랙 양쪽에서 IQT(NTIRE-21 수상자), LPIPS, DISTS, SSIM, PSNR 등의 기존 기준 모델을 모두 초월하였다.
• 주의 메커니즘과 다중 손실 학습의 활용은 특히 미세한 인지적 차이를 포착하는 데 있어 인간 평가와의 상관관계를 크게 향상시켰다.
• 전반적 참조 트랙과 무참조 트랙에 각각 192명과 179명이 등록되었으며, 최종 모델을 제출한 팀은 각각 7개와 8개였다.
• 결과는 현대적인 딥러닝 아키텍처와 철저한 손실 설계를 통해 인지 IQA 분야에서 최신 기술 수준의 성능를 달성할 수 있으며, 특히 새로운 유형의 왜곡에 대해 뛰어난 성능를 발휘할 수 있음을 확인하였다.