[논문 리뷰] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration

Jinjin Gu, Haoming Cai외 4명|arXiv (Cornell University)|2020. 07. 23.

Image and Video Quality Assessment참고 문헌 59인용 수 10

한 줄 요약

이 논문은 인과적 이미지 복원, 특히 GAN 기반 방법을 평가하기 위해 고안된 대규모 이미지 품질 평가(IQA) 데이터셋인 PIPAL을 소개한다. 이 데이터셋은 113만 건이 넘는 인간 평가를 엘로 평가 시스템을 통해 수집하였다. 기존의 IQA 방법들이 공간적 비일치성에 민감하여 GAN으로 생성된 이미지를 공정하게 평가하지 못함을 밝혀내고, 안티앨리asing 풀링을 제안하여 GAN 기반 왜곡에 대한 강건성을 향상시켜 성능을 크게 향상시켰다.

ABSTRACT

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent IR methods based on Generative Adversarial Networks (GANs) have achieved significant improvement in visual performance, but also presented great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. Then we raise two questions: (1) Can existing IQA methods objectively evaluate recent IR algorithms? (2) When focus on beating current benchmarks, are we getting better IR algorithms? To answer these questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing Algorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based methods, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable "Elo system". Based on PIPAL, we present new benchmarks for both IQA and super-resolution methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we improve the performance of IQA networks on GAN-based distortions by introducing anti-aliasing pooling. Experiments show the effectiveness of the proposed method.

연구 동기 및 목표

• 현대 이미지 복원에서 인과적 이미지 품질과 정량적 IQA 지표 간의 점점 커지는 불일치를 해결하기 위해.
• 기존의 IQA 방법들이 GAN 기반 이미지 복원 알고리즘을 공정하게 평가할 수 있는지 조사하기 위해.
• 대규모이자 인과적으로 기반을 둔 데이터셋을 통해 IQA 및 초해상도 방법에 대한 새로운 벤치마크를 수립하기 위해.
• 기존의 IQA 네트워크의 한계, 특히 GAN 생성 출력에서의 공간적 비일치성에 대한 민감성 등을 특정하기 위해.
• 안티앨리징 풀링 레이어를 도입하여 GAN 기반 왜곡에 대한 IQA 성능을 향상시키기 위해.

제안 방법

• 250개의 기준 이미지와 116종의 왜곡(가령 GAN 기반 출력 포함)을 포함한 총 29,000장의 이미지로 구성된 대규모 IQA 데이터셋인 PIPAL의 구축.
• 113만 건이 넘는 인간 평가를 확보하기 위해 엘로 평가 시스템을 활용하여 신뢰할 수 있고 확률 기반의 주관적 점수를 확보.
• PIPAL 데이터셋을 기반으로 한 새로운 IQA 및 초해상도 벤치마크 설계를 통해 알고리즘 성능 평가.
• 공간적 비일치성이 GAN 기반 왜곡에 대한 IQA 성능 저하의 핵심 요인임을 규명.
• IQA 네트워크(예: LPIPS-Alex)에 l2 풀링 및 BlurPool와 같은 안티앨리징 풀링 레이어를 통합하여 미세한 이동에 대한 강건성을 향상.
• 전체 PIPAL 세트와 GAN 기반 왜곡 서브셋에서 SRCC 및 KRCC를 사용해 IQA 모델 평가를 통해 성능 향상 검증.

실험 결과

연구 질문

• RQ1 기존의 IQA 방법들은 인과적으로 현실적인 왜곡을 유발하지만 종종 아티팩트를 포함하는 GAN 기반 이미지 복원 알고리즘을 객관적으로 평가할 수 있는가?
• RQ2 GAN 기반 왜곡을 평가할 때 현재의 IQA 지표가 인간의 인식과 얼마나 관련이 깊은가?
• RQ3 FSIM C 및 LPIPS와 같은 전통적 IQA 방법들이 GAN으로 생성된 이미지를 정확히 평가하지 못하는 이유는 무엇인가?
• RQ4 IQA 모델이 GAN 기반 왜곡에서 성능이 열악한 이유가 특징에서의 공간적 비일치성에 대한 민감성 때문인가?
• RQ5 안티앨리징 풀링은 GAN 기반 왜곡에 대한 IQA 네트워크의 강건성과 정확도를 향상시킬 수 있는가?

주요 결과

• FSIM C 및 LPIPS를 포함한 기존의 IQA 방법들은 GAN 기반 왜곡에서 인간 평가와 낮은 상관성을 보이며, GAN 왜곡에서 SRCC가 0.41로 떨어짐.
• LPIPS 베이스라인은 전체 PIPAL 세트에서 SRCC 0.5604, GAN 기반 서브셋에서는 0.4862를 기록하여 향상 여지가 뚜렷하게 있음.
• LPIPS-Alex에 BlurPool를 통합함으로써 전체 세트에서 SRCC가 0.5918, GAN 서브셋에서는 0.5135로 상승하여 뚜렷한 성능 향상 확인.
• 공간 왜곡 변형 유형은 IQA 모델에서 GAN 기반 왜곡과 유사하게 행동하며, FSIM C는 단지 0.31의 SRCC를 기록하여 공통된 과제를 반영함.
• 특히 BlurPool를 포함한 안티앨리징 풀링은 작은 공간적 비일치성에 대한 특징의 강건성을 효과적으로 향상시켜 현재 IQA 네트워크의 핵심 한계를 직접 해결함.
• PIPAL 데이터셋은 이전의 IQA 벤치마크에서 GAN 기반 왜곡이 충분히 반영되지 않았음을 드러내며 평가 인프라의 심각한 격차를 밝힘.