[論文レビュー] An Unsupervised Information-Theoretic Perceptual Quality Metric

Sangnie Bhardwaj, Ian Fischer+2 more|arXiv (Cornell University)|Jun 11, 2020

Image and Video Quality Assessment参考文献 36被引用数 14

ひとこと要約

本稿では、人間視覚系生理学からのインダクティブバイアス（効率的コーディングおよびスローネスの原則）と情報理論的目的関数を活用する、教師なしの画像品質評価モデルであるPerceptual Information Metric（PIM）を提案する。トレーニングには品質評価ラベルを一切必要とせず、動画フレームペアのみを用いる。PIMはBAPPSでLPIPSなどの教師あり指標と同等の性能を達成し、CLIC 2020の圧縮順位評価でもそれを上回る。

ABSTRACT

Tractable models of human perception have proved to be challenging to build. Hand-designed models such as MS-SSIM remain popular predictors of human image quality judgements due to their simplicity and speed. Recent modern deep learning approaches can perform better, but they rely on supervised data which can be costly to gather: large sets of class labels such as ImageNet, image quality ratings, or both. We combine recent advances in information-theoretic objective functions with a computational architecture informed by the physiology of the human visual system and unsupervised training on pairs of video frames, yielding our Perceptual Information Metric (PIM). We show that PIM is competitive with supervised metrics on the recent and challenging BAPPS image quality assessment dataset and outperforms them in predicting the ranking of image compression methods in CLIC 2020. We also perform qualitative experiments using the ImageNet-C dataset, and establish that PIM is robust with respect to architectural details.

研究の動機と目的

• 高価な人間による品質評価ラベルや分類ラベルといった、コストの高い人間ラベルデータに依存しない知覚的画像品質指標の開発を目的とする。
• 人間視覚系生理学からのインダクティブバイアス（効率的コーディングおよびスローネス）が、教師なしの画像品質予測を改善できるかどうかを調査すること。
• 特定の歪みタイプにファインチューニングを行わずに、多様な画像歪みに一般化できる指標の構築を目的とする。
• 動画フレームペアを用いた教師なしトレーニングが、最先端の教師ありモデルと同等の知覚的品質指標を生成できるかどうかを評価すること。

提案手法

• モデルは、アンモトライズド推論のための深層ニューラルネットワークでパrameter化された、マルチスケールで確率的なエンコーダーを用い、画像を潜在空間にマップする。
• 潜在分布間の対称化されたカルバック・ライブラー発散を、知覚的距離の指標として用いる。
• トレーニング目的関数は、時間的に隣接する動画フレーム間の予測可能な情報（相互情報量）を最大化することに基づく。これによりスローネスが強制される。
• アーキテクチャは、空間的および時間的平行移動不変性、およびマルチスケール空間的不変性を強制し、初期視覚処理を模倣する。
• モデルは、人間による品質アノテーションを一切使用せず、自然な動画データのみを用いてエンドツーエンドで教師なしでトレーニングされる。
• 潜在表現は柔軟かつ表現力に富んでおり、曖昧な画像領域における不確実性のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間による品質評価ラベルや分類データが一切ない状況でも、知覚的画像品質指標を効果的にトレーニングできるか？
• RQ2 動画フレーム上で対照学習を用いてスローネスの原則を強制することで、知覚的品質予測が向上するか？
• RQ3 潜在表現における効率的コーディングの原則が、手作業設計または教師あり指標よりも人間の知覚と整合性の高い結果をもたらすか？
• RQ4 ネットワークの深さやマルチスケール設計などのアーキテクチャの変更に対して、提案手法の指標はどれほど頑健か？
• RQ5 教師なしモデルが、LPIPSなどの教師ありモデルと比較して、標準的なIQAベンチマークでどの程度の性能を達成できるか？

主な発見

• PIMはBAPPS-2AFCデータセットで人間評価者との一致度が69.1%に達し、人間評価者間の一致度（73.9%）に近づいた。
• BAPPS-JNDデータセット（わずかに気づける歪みを評価）では、PIMが教師ありLPIPS指標を上回った。
• CLIC 2020の圧縮順位ベンチマークでは、PIMが画像圧縮手法の順位予測において、すべての教師あり指標を上回った。
• ネットワークの深さやマルチスケール設計の変更といったアーキテクチャの変更に対しても、PIMは強い頑健性を示し、コアなインダクティブバイアスの安定性を示した。
• 人間による品質データを一切使用せず、情報理論的および生理学的インダクティブバイアスの有効性を示した。
• 多様な歪みに対して一貫した性能を維持したため、特定のアーティファクトタイプを超えた一般化が可能であると考えられる。