[論文レビュー] No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning

S. Alireza Golestaneh, Kris Kitani|arXiv (Cornell University)|Jun 6, 2020

Image and Video Quality Assessment参考文献 76被引用数 13

ひとこと要約

本稿では、VGG16などの深層バックボーンから得られる特徴を統合して、画像品質スコアと歪みタイプを同時に予測する、マルチタスク学習フレームワークであるQualNetを提案する。歪みタイプの監視と専用の特徴統合機構を活用することで、7つの多様なデータセットで最先端の性能を達成し、VGG19を用いたLIVE-MD1データセットではSROCCが0.925、LCCが0.945に達する。

ABSTRACT

Blind or no-reference image quality assessment (NR-IQA) is a fundamental, unsolved, and yet challenging problem due to the unavailability of a reference image. It is vital to the streaming and social media industries that impact billions of viewers daily. Although previous NR-IQA methods leveraged different feature extraction approaches, the performance bottleneck still exists. In this paper, we propose a simple and yet effective general-purpose no-reference (NR) image quality assessment (IQA) framework based on multi-task learning. Our model employs distortion types as well as subjective human scores to predict image quality. We propose a feature fusion method to utilize distortion information to improve the quality score estimation task. In our experiments, we demonstrate that by utilizing multi-task learning and our proposed feature fusion method, our model yields better performance for the NR-IQA task. To demonstrate the effectiveness of our approach, we test our approach on seven standard datasets and show that we achieve state-of-the-art results on various datasets.

研究の動機と目的

• 参照画像が存在しないノンレファレンス画像品質評価（NR-IQA）の課題に対処すること。これは、ストリーミングおよびソーシャルメディアプラットフォームにおいて極めて重要な要件である。
• スクリーンコンテンツやHDR画像など、多様な画像タイプに一般化しにくい従来のハンドクラフト特徴ベースの手法の限界を克服すること。
• マルチタスク学習により、品質スコアの回帰と歪みタイプ分類を同時に学習することで、汎用的NR-IQA性能を向上させること。
• 歪み固有の情報を組み込むことで品質推定を向上させる、特徴統合機構を設計すること。
• 自然画像、スクリーンコンテンツ、HDR処理済み画像を含む多様な画像ドメインにわたり、モデルの頑健性と一般化性能を示すこと。

提案手法

• 画像パッチから階層的特徴を抽出するために、深層畳み込みニューラルネットワーク（例：VGG16）をバックボーンとして採用する。
• 品質スコア（MOS/DMOS）の予測と歪みタイプ（例：JPEG、ぼやけ、ノイズ）の分類の2つの並列ヘッドを持つマルチタスク学習設定を実装する。
• 品質と歪み予測ヘッド間の特徴統合モジュールを導入し、両タスクの表現学習を強化する。
• 次元削減と一般化性能の向上を目的に、1×1畳み込みとグローバル平均プーリング（GAP）を品質スコア回帰ヘッドに適用する。
• 回帰損失（品質スコア用）と交差エントロピー損失（歪みタイプ分類用）を組み合わせた損失関数を用い、エンドツーエンドでモデルを訓練する。
• 入力として128×128の画像パッチを用い、アブレーションスタディではパッチサイズ、最適化手法（SGD対Adam）、バックボーンの深さ（VGG16対VGG19）の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 品質スコアと歪みタイプの共同予測は、単一タスク手法と比較して、ノンレファレンス画像品質評価の性能を向上させるか？
• RQ2 品質予測ヘッドと歪み予測ヘッド間の特徴統合は、多様な歪みタイプと画像コンテンツにわたるモデルの一般化能力を向上させるか？
• RQ3 バックボーンネットワークの選択（例：VGG16 対 VGG19）および入力パッチサイズの選定が、モデルの性能と一般化に与える影響は何か？
• RQ4 歪みタイプの監視を伴うマルチタスク学習は、限られた訓練データにおいて過学習を軽減し、モデルの頑健性を向上させるか？
• RQ5 提案手法は、スクリーンコンテンツやHDR処理済み画像など、非自然画像ドメインに対しても効果的に一般化できるか？

主な発見

• 提案されたマルチタスクモデル（QualNet）は、VGG16をバックボーンとして使用したTID2013データセットでSROCC 0.916、LCC 0.936を達成し、単一タスクおよび非統合マルチタスクベースラインを上回る性能を示した。
• VGG19をバックボーンとして使用することで性能がさらに向上し、LIVE-MD1データセットでSROCC 0.925、LCC 0.945を達成した。
• アブレーションスタディにより、特徴統合が顕著に性能向上をもたらすことが確認され、本手法（f）は統合なしのモデル（例：モデル-e：SROCC 0.906、LCC 0.920）を上回った。
• Adam最適化手法で訓練したモデルはSGDよりも一般化性能が高く、TID2013データセットでSROCC 0.916（Adam）対0.909（SGD）の高い相関係数を示した。
• パッチサイズが小さくなると性能が低下し、SROCCは128×128で0.916から64×64で0.891、32×32で0.878に低下した。これは、より大きなパッチが構造的情報をよりよく保持していることを示している。
• 歪みタイプ予測の正確性は非常に高く、SIQADでは最大98％に達した。これは、歪み特性の有効な分離が行われていることを示している。