[論文レビュー] Learning to Blindly Assess Image Quality in the Laboratory and Wild

Weixia Zhang, Kede Ma+2 more|arXiv (Cornell University)|Jul 1, 2019

Image and Video Quality Assessment参考文献 34被引用数 8

ひとこと要約

本稿では、複数のIQAデータベースを用いて、人間の評価から導出された連続的品質スコアを用いた新しいペairワイズ学習・ランク戦略を採用し、エンド・トゥ・エンドで訓練された統合型ブラインド画像品質評価（BIQA）モデルを提案する。各データベース内で画像ペアを構築し、人間の評価に基づく連続的品質スコアを用いることで、合成歪みおよび現実的歪みの両方のシナリオにおいて、最先端の性能を達成した。忠実度損失最適化とクロス・データベース一般化により、従来手法を大きく上回った。

ABSTRACT

Computational models for blind image quality assessment (BIQA) are typically trained in well-controlled laboratory environments with limited generalizability to realistically distorted images. Similarly, BIQA models optimized for images captured in the wild cannot adequately handle synthetically distorted images. To face the cross-distortion-scenario challenge, we develop a BIQA model and an approach of training it on multiple IQA databases (of different distortion scenarios) simultaneously. A key step in our approach is to create and combine image pairs within individual databases as the training set, which effectively bypasses the issue of perceptual scale realignment. We compute a continuous quality annotation for each pair from the corresponding human opinions, indicating the probability of one image having better perceptual quality. We train a deep neural network for BIQA over the training set of massive image pairs by minimizing the fidelity loss. Experiments on six IQA databases demonstrate that the optimized model by the proposed training strategy is effective in blindly assessing image quality in the laboratory and wild, outperforming previous BIQA methods by a large margin.

研究の動機と目的

• 合成歪みと現実的歪みの両方のバイアスをもつBIQAモデルの一般化ギャップを解消すること。
• MOSスケールの異なる多様なIQAデータベース間での知覚スケールの再調整を不要とする。
• ラボ（合成）とワイルド（現実的）な歪みシナリオの両方で優れた性能を示す統合型BIQAモデルを開発すること。
• モデルに依存しない、スケーラブルな戦略を用いて、複数のデータベースを同時にエンド・トゥ・エンドで訓練すること。

提案手法

• 各個々のIQAデータベース内で画像ペアを構築し、知覚スケールの再調整を回避する統一されたトレーニングセットを形成する。
• 人間の評価差（DMOS）に基づき、各ペアに対して連続的品質スコアを計算し、一方の画像がより高い知覚的品質である確率を表す。
• 予測値と連続的品質スコアの差を最小化する忠実度損失関数を用いて、深層ニューラルネットワークを訓練する。
• 6つのIQAデータベース（LIVE, CSIQ, TID2013, BID, LIVE Challenge, KonIQ-10K）を統合してトレーニングすることで、多様な歪みタイプに対するロバスト性を向上させる。
• 過学習を防ぎ、未観測の歪みに一般化する能力を向上させるために、事前学習済みImageNet重みを活用する。
• ペアワイズランク信号を用いてエンド・トゥ・エンドで最適化することで、合成歪みと現実的歪みの両パターンを同時に学習できる。

実験結果

リサーチクエスチョン

• RQ1 1つのBIQAモデルが、別々の再トレーニングを必要とせずに、合成歪みと現実的歪みの両方で優れた性能を達成できるか？
• RQ2 MOSスケールが不一致である複数のIQAデータベースを、効果的に統合トレーニングに組み合わせられるか？
• RQ3 ペアワイズ人間評価に基づく連続的品質スコアを用いることで、絶対MOSや二値ランクと比較して一般化性能が向上するか？
• RQ4 忠実度損失関数が、標準的なクロスエントロピー損失よりも知覚的に整合した品質予測を学習する上で優れているか？
• RQ5 多様な歪みを含む複数のデータベースを同時にトレーニングすることで、個々のデータベースでトレーニングする場合と比較して、一般化性能がどの程度向上するか？

主な発見

• 提案手法は、LIVE, CSIQ, TID2013（合成歪み）およびBID, LIVE Challenge, KonIQ-10K（現実的歪み）の6つのデータベースすべてで、従来のすべてのBIQA手法を上回った。
• オリジナルの参照画像が存在しないにもかかわらず、MS-SSIM や NLPD といったフル・リファレンス指標に近い性能を達成した。
• 忠実度損失をクロスエントロピー損失に置き換えると、合成データベースでの性能が著しく低下し、連続的品質監視の優位性が裏付けられた。
• 未観測の歪みタイプに対しても効果的に一般化でき、クロス・データベース評価では、TID2013 および LIVE Challenge で別々にトレーニングされた DB-CNN でさえも上回った。
• アブレーションスタディにより、MOSの線形スケーリングはノイズを導入し性能を低下させることが判明し、提案されたペアワイズ連続的アノテーション戦略の有効性が裏付けられた。
• 多様な歪みを含む複数のデータベースでの統合トレーニングは、相互に正則化効果をもたらし、ネットワークをより良い局所最適解に導き、ロバスト性を向上させた。