[論文レビュー] Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

Kwan-Yee Lin, Guanxiang Wang|arXiv (Cornell University)|Apr 5, 2018

Image and Video Quality Assessment参考文献 35被引用数 34

ひとこと要約

本稿では、品質に配慮した生成ネットワークを用いて歪んだ入力から幻覚的基準画像を生成し、敵対的学習と不一致マップを活用して回帰ネットワークをガイドすることで、正確な品質予測を実現するノンレファレンス画像品質評価手法であるHallucinated-IQAを提案する。本手法は複数のベンチマークで最先端の性能を達成し、先行手法を大きく上回っている。

ABSTRACT

No-reference image quality assessment (NR-IQA) is a fundamental yet challenging task in low-level computer vision community. The difficulty is particularly pronounced for the limited information, for which the corresponding reference for comparison is typically absent. Although various feature extraction mechanisms have been leveraged from natural scene statistics to deep neural networks in previous methods, the performance bottleneck still exists. In this work, we propose a hallucination-guided quality regression network to address the issue. We firstly generate a hallucinated reference constrained on the distorted image, to compensate the absence of the true reference. Then, we pair the information of hallucinated reference with the distorted image, and forward them to the regressor to learn the perceptual discrepancy with the guidance of an implicit ranking relationship within the generator, and therefore produce the precise quality prediction. To demonstrate the effectiveness of our approach, comprehensive experiments are evaluated on four popular image quality assessment benchmarks. Our method significantly outperforms all the previous state-of-the-art methods by large margins. The code and model will be publicly available on the project page https://kwanyeelin.github.io/projects/HIQA/HIQA.html.

研究の動機と目的

• 真の基準画像が存在しないノンレファレンス画像品質評価（NR-IQA）の不適切な定式化に対処すること。
• 真の基準画像が欠落していることと情報が限られていることによるNR-IQAの性能ボトルネックを克服すること。
• 知覚的差異を定量化するために、人間の視覚系の挙動を模倣する知覚的基準画像を生成すること。
• 追加のアノテーションや人工的な事前知識を必要としないエンドツーエンドで訓練可能なフレームワークを開発すること。
• 歪んだ画像と幻覚的画像の間の豊富な不一致情報を活用することで、品質予測の正確性を向上させること。

提案手法

• 品質に配慮した生成ネットワークが、歪んだ入力をもとに高解像度の幻覚的基準画像を生成し、知覚的妥当性を保つように制約を課す。
• 幻覚的基準画像と元の歪んだ画像をペアにして、知覚的差異を符号化する不一致マップを計算する。
• 実画像ペアと幻覚的画像ペアを区別できるように訓練された敵対的ディスクラミネーター（IQAディスクラミネーター）を用い、生成器がより現実的な基準画像を生成するようにガイドする。
• 幻覚的基準画像が元の画像と品質的に類似していることを保証するため、品質に配慮した知覚的損失を導入する。
• 生成器と回帰ネットワークからのマルチレベルのセマンティック特徴を統合することで、表現学習を向上させる。
• 敵対的学習と知覚的損失を用いて、外部のアノテーションを一切必要とせずに、エンドツーエンドで全体フレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 幻覚的基準画像を用いることで、人間の視覚的比較を模倣することで、ノンレファレンス画像品質評価の性能が向上するか？
• RQ2 特化したIQAディスクラミネーターを用いた敵対的学習は、NR-IQAのための知覚的に妥当な基準画像の生成にどの程度効果的か？
• RQ3 歪んだ画像と幻覚的画像の間の不一致マップを組み込むことで、品質予測の正確性はどの程度向上するか？
• RQ4 追加のアノテーションや事前知識なしに訓練されたモデルは、既存の最先端手法を上回ることができるか？
• RQ5 マルチレベル特徴統合は、品質回帰ネットワークのロバスト性と正確性にどのように寄与するか？

主な発見

• LIVEデータベースでは、本手法はスピアマン順位相関係数（SROCC）が0.983を達成し、先行の最先端手法（RankIQA：0.981、PQR：0.965）を大きく上回った。
• TID2008データセットでは、SROCCが0.934、LCCが0.917を達成し、ベースラインのResNet-18よりもSROCCで14%以上、LCCで8%以上上回った。
• アブレーションスタディの結果、幻覚化、品質に配慮した損失、敵対的学習、マルチレベル統合の各要素が性能向上に段階的に寄与しており、フルモデルではTID2008でSROCCが0.941、LCCが0.949を達成した。
• クロスデータセット評価では、生成器を複数のデータセット（TID2008とTID2013）で訓練することで一般化性能が向上し、LIVEテストセットでSROCCが0.983、LCCが0.989を達成した。
• オラクル監視を用いたモデル（Ours+Oracle）は、LIVEでSROCCが0.983、LCCが0.989を達成し、十分な訓練データがあればオラクルレベルの性能に近づけることが示された。
• 本手法は強力な一般化性能を示し、TID2008で訓練したモデルがTID2013サブセットでSROCCが0.983を達成し、未観測の歪みタイプに対してもロバストであることがわかった。