[論文レビュー] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration

Jinjin Gu, Haoming Cai+4 more|arXiv (Cornell University)|Jul 23, 2020

Image and Video Quality Assessment参考文献 59被引用数 10

ひとこと要約

本論文は、Elo評価システムを用いて113万件以上の人的判断を含む大規模な画像品質評価（IQA）データセットであるPIPALを紹介する。このデータセットは、特にGANベースの手法を含む知覚的画像修復の評価を目的として設計されている。本研究では、従来のIQA手法が空間的不一致に感受性を示すため、GAN生成画像を公平に評価できないことが明らかになり、アンチエイリアシングプーリングの導入により耐性が向上し、GANベースの歪みに対する性能が顕著に向上することを示している。

ABSTRACT

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent IR methods based on Generative Adversarial Networks (GANs) have achieved significant improvement in visual performance, but also presented great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. Then we raise two questions: (1) Can existing IQA methods objectively evaluate recent IR algorithms? (2) When focus on beating current benchmarks, are we getting better IR algorithms? To answer these questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing Algorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based methods, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable "Elo system". Based on PIPAL, we present new benchmarks for both IQA and super-resolution methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we improve the performance of IQA networks on GAN-based distortions by introducing anti-aliasing pooling. Experiments show the effectiveness of the proposed method.

研究の動機と目的

• 現代の画像修復において、知覚的画像品質と定量的IQA指標の間の整合性の欠如を是正すること。
• 既存のIQA手法がGANベースの画像修復アルゴリズムを公平に評価できるかどうかを調査すること。
• 大規模で知覚的根拠を持つデータセットを用いて、IQAおよび超解像手法のための新たなベンチマークを確立すること。
• 現在のIQAネットワークの限界、特にGAN生成出力における空間的不一致への感受性を特定すること。
• アンチエイリアシングプーリング層の導入により、GANベースの歪みに対するIQAの性能を向上させること。

提案手法

• 250のリファレンス画像と116種類の歪み（GANベースの出力も含む）を有する29,000枚の画像を含む、大規模なIQAデータセットPIPALの構築。
• 信頼性の高い確率的主観スコアを保証するため、Elo評価システムを用いて113万件を超える人的判断を収集。
• PIPALデータセットを用いてIQAおよび超解像のための新しいベンチマークを設計し、アルゴリズムの性能を評価。
• 空間的不一致が、GANベースの歪みにおけるIQA性能の低下を引き起こす主要因であることを同定。
• IQAネットワーク（例：LPIPS-Alex）にl2プーリングおよびBlurPoolといったアンチエイリアシングプーリング層を統合し、微小なシフトに対して耐性を向上。
• 全PIPALセットおよびGANベースの歪みサブセットにおいて、SRCCおよびKRCCを用いてIQAモデルの評価を行い、性能向上を検証。

実験結果

リサーチクエスチョン

• RQ1 従来のIQA手法は、知覚的に現実的ではあるがしばしばアーティファクトを含む出力を生成するGANベースの画像修復アルゴリズムを客観的に評価できるか？
• RQ2 GANベースの歪みを評価する際、現在のIQA指標は人間の知覚とどの程度相関しているか？
• RQ3 従来のIQA手法（例：FSIM C や LPIPS）がGAN生成画像を正確に評価できないのはなぜか？
• RQ4 IQAモデルがGANベースの歪みに対して性能を発揮できないのは、特徴量における空間的不一致への感受性によるものか？
• RQ5 アンチエイリアシングプーリングは、GANベースの歪みに対するIQAネットワークの耐性と正確性を向上させることができるか？

主な発見

• FSIM C や LPIPS を含む既存のIQA手法は、GANベースの歪みに対して人間の判断と弱い相関を示し、GAN歪みではSRCCが0.41にまで低下する。
• LPIPSベースラインは全PIPALセットでSRCC 0.5604、GAN歪みサブセットで0.4862を記録しており、さらなる改善の余地が明確に示された。
• LPIPS-AlexにBlurPoolを導入することで、全セットでSRCCが0.5918、GANサブセットで0.5135に向上し、顕著な性能向上が確認された。
• 空間的ワープ歪みタイプは、IQAモデルにおいてGANベースの歪みと同様の挙動を示し、FSIM C ではSRCCがわずか0.31にとどまり、共通する課題が存在することが示された。
• アンチエイリアシングプーリング、特にBlurPoolは、微小な空間的不一致に対する特徴量の耐性を効果的に向上させ、現在のIQAネットワークの主な限界を直接是正している。
• PIPALデータセットは、GANベースの歪みが従来のIQAベンチマークに十分に反映されていないことを明らかにし、評価インfraの重要なギャップを浮き彫りにした。