[논문 리뷰] Image Quality Assessment for Perceptual Image Restoration: A New Dataset, Benchmark and Metric

Jinjin Gu, Haoming Cai외 4명|arXiv (Cornell University)|2020. 11. 30.

Advanced Image Processing Techniques참고 문헌 50인용 수 31

한 줄 요약

이 논문은 GAN 기반 IR 출력물, Elo 기반 MOS, 그리고 Space Warping Difference IQA 네트워크(SWDN)를 도입하여 지각적 이미지 복원에 대한 IQA 방법을 벤치마크하고 개선합니다. 현재 IQA 메트릭은 GAN 왜곡 이미지에서 어려움을 보이며 개선점을 제안합니다.

ABSTRACT

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent perceptual IR algorithms based on generative adversarial networks (GANs) have brought in significant improvement on visual performance, but also pose great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. We present two questions: Can existing IQA methods objectively evaluate recent IR algorithms? With the focus on beating current benchmarks, are we getting better IR algorithms? To answer the questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing ALgorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based IR algorithms, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable Elo system. Based on PIPAL, we present new benchmarks for both IQA and SR methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we shed light on how to improve the IQA performance on GAN-based distortion. Inspired by the find that the existing IQA methods have an unsatisfactory performance on the GAN-based distortion partially because of their low tolerance to spatial misalignment, we propose to improve the performance of an IQA network on GAN-based distortion by explicitly considering this misalignment. We propose the Space Warping Difference Network, which includes the novel l_2 pooling layers and Space Warping Difference layers. Experiments demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• GAN 기반 지각적 이미지 복원(IR)이 제기하는 평가 과제를 동기 부여합니다.
• GAN 기반 왜곡을 포함한 대규모 IQA 데이터셋(PIPAL)을 제안합니다.
• Elo 기반 MOS와 개방형 평점 도구(IQOS)를 제공하여 광범위한 인간 판단을 확보합니다.
• IR 작업에서 기존 IQA 방법을 벤치마킹하여 격차를 식별합니다.
• GAN 왜곡에 대한 IQA를 아키텍처 변경을 통해 개선을 제안합니다.

제안 방법

• PIPAL을 GAN 기반 출력을 포함한 29k개의 왜곡 이미지와 250개의 참조에서 116개의 왜곡 유형으로 생성합니다.
• Elo 등급 시스템을 사용해 MOS를 산출하고 광범위한 인간 판단(>1.13백만 명)을 확보합니다.
• 확장 가능한 주석 작성을 위해 스위스 및 Elo 등급을 통합한 웹 기반 채점 시스템 IQOS를 개발합니다.
• MOS에 대해 FR-IQA 및 NR-IQA 방법의 광범위한 집합(PSNR, SSIM, LPIPS, PieAPP, DISTS, WaDIQaM, NIQE, PI 등)을 평가합니다.
• GAN 왜곡 특성을 분석하고 공간 불일치를 많은 IQA 방법의 주요 약점으로 식별합니다.
• Misalignment에 대한 강건성을 높이기 위해 l2-풀링과 Space Warping Difference(SWD) 계층을 갖춘 Space Warping Difference Network(SWDN)를 제안합니다.

실험 결과

연구 질문

• RQ1 기존의 IQA 방법이 GAN 기반 지각적 IR 출력물을 객관적으로 평가할 수 있는가?
• RQ2 현 IQA 메트릭이 GAN 기반 방법을 포함한 현대 IR 알고리즘의 벤치마크로 적합한가?
• RQ3 GAN 기반 왜곡이 IQA 성능 측면에서 기존 왜곡과 어떻게 다른가?
• RQ4 GAN 왜곡에서 공간 불일치를 다루는 아키텍처 변경으로 IQA 성능을 개선할 수 있는가?

주요 결과

• 기존 IQA 방법은 PIPAL의 GAN 기반 왜곡에 대해 인간 판단과의 상관관계가 낮다.
• PieAPP, LPIPS 및 WaDIQaM은 GAN 기반 왜곡에 상대적으로 더 나은 정렬을 보여주지만 여전히 미흡합니다.
• GAN 기반 왜곡은 전통적 FR-IQA 지표(PSNR, SSIM 등)의 상관도 크게 감소를 보입니다.
• 공간 불일치는 GAN 왜곡에서 IQA 성능을 저하시킬 수 있는 주요 요인이며 이를 해결하면 강건성이 향상됩니다.
• l2-풀링 및 SWD 계층을 갖춘 SWDN은 GAN 기반 왜곡에 대해 IQA 태스크에서 최첨단 성능을 달성합니다.