[論文レビュー] Image Quality Assessment for Perceptual Image Restoration: A New Dataset, Benchmark and Metric

Jinjin Gu, Haoming Cai+4 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Image Processing Techniques参考文献 50被引用数 31

ひとこと要約

本論文は、GANベースのIR出力を含むPIPALデータセット、EloベースのMOS、および空間歪み差分IQAネットワーク（SWDN）を導入し、知覚的画像復元のIQA手法をベンチマークし改善する。現行のIQA指標はGAN歪み画像に対して適合性が低いことを示し、改善を提案する。

ABSTRACT

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent perceptual IR algorithms based on generative adversarial networks (GANs) have brought in significant improvement on visual performance, but also pose great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. We present two questions: Can existing IQA methods objectively evaluate recent IR algorithms? With the focus on beating current benchmarks, are we getting better IR algorithms? To answer the questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing ALgorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based IR algorithms, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable Elo system. Based on PIPAL, we present new benchmarks for both IQA and SR methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we shed light on how to improve the IQA performance on GAN-based distortion. Inspired by the find that the existing IQA methods have an unsatisfactory performance on the GAN-based distortion partially because of their low tolerance to spatial misalignment, we propose to improve the performance of an IQA network on GAN-based distortion by explicitly considering this misalignment. We propose the Space Warping Difference Network, which includes the novel l_2 pooling layers and Space Warping Difference layers. Experiments demonstrate the effectiveness of the proposed method.

研究の動機と目的

• GANベースの知覚的画像復元（IR）によって提起される評価の課題を動機付ける。
• GANベースの歪みを含む大規模なIQAデータセット（PIPAL）を提案する。
• EloベースMOSとオープンな評価ツール（IQOS）を用いて信頼性のある主観スコアを提供する。
• IRタスク上で既存のIQA手法をベンチマークしてギャップを特定する。
• アーキテクチャの変更によってGAN歪みに対するIQAの改善を提案する。

提案手法

• PIPALを、 GANベースの出力を含む29kの歪み画像と、250の参照画像に対して116種類の歪みタイプを作成する。
• Elo評価システムを用いて主観スコアを収集し、豊富な人間判定（>113万）を用いたMOSを生成する。
• スイスとEloの評価を統合したスケーラブルなアノテーション用のウェブベース評価システムIQOSを開発する。
• PIPAL上のMOSと照合するため、PSNR、SSIM、LPIPS、PieAPP、DISTS、WaDIQaM、NIQE、PI などを含むFR-IQAおよびNR-IQA手法の広範なスイートを評価する。
• GAN歪みの特徴を分析し、空間的ミスアライメントを多くのIQA手法の重要な弱点として特定する。
• 空間歪み差分ネットワーク（SWDN）を、l2プーリングと空間歪み差分（SWD）層を用いて、ミスアライメントへの頑健性を高めることを提案する。

実験結果

リサーチクエスチョン

• RQ1 既存のIQA手法はGANベースの知覚的IR出力を客観的に評価できるか？
• RQ2 現代のIRアルゴリズム（GANベースの手法を含む）に対して、現在のIQA指標は適切なベンチマークとなるか？
• RQ3 GANベースの歪みはIQAの性能という点で伝統的な歪みとどのように異なるか？
• RQ4 GAN歪みにおける空間ミスアライメントに対処するアーキテクチャの変更によってIQAの性能を改善できるか？

主な発見

• 既存のIQA手法はPIPALにおけるGANベースの歪みに対する人間の判断と相関づけるのが難しい。
• PieAPP、LPIPS、WaDIQaMはGANベースの歪みに対して相対的に良い整合性を示すが、それでも性能は低い。
• GANベースの歪みは、従来のFR-IQA指標（PSNR、SSIM など）での相関が大幅に低下することを示す。
• 空間的ミスアライメントはGAN歪みに対するIQA性能を低下させる大きな要因であり、それに対処することで頑健性が向上する。
• l2プーリングとSWD層を備えたSWDNは、IQAタスクにおけるGANベースの歪みに対して最先端の性能を達成する。