[論文レビュー] Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective

Weixia Zhang, Guangtao Zhai+3 more|arXiv (Cornell University)|Mar 27, 2023

Image and Video Quality Assessment被引用数 5

ひとこと要約

本稿では、視覚言語対応性を活用したCLIP埋め込みを介して、同時にバイナリ画像品質評価（BIQA）、シーン分類、歪みタイプ同定を最適化するマルチタスク学習フレームワーク、LIQEを提案する。視覚的・言語的埋め込みからの結合確率をモデル化し、動的損失重み付けを用いることで、BIQAの性能を向上させるとともに、耐性を高め、異なるデータセット間で品質スコアを知覚的に意味のある形に再配列可能にする。

ABSTRACT

We aim at advancing blind image quality assessment (BIQA), which predicts the human perception of image quality without any reference information. We develop a general and automated multitask learning scheme for BIQA to exploit auxiliary knowledge from other tasks, in a way that the model parameter sharing and the loss weighting are determined automatically. Specifically, we first describe all candidate label combinations (from multiple tasks) using a textual template, and compute the joint probability from the cosine similarities of the visual-textual embeddings. Predictions of each task can be inferred from the joint distribution, and optimized by carefully designed loss functions. Through comprehensive experiments on learning three tasks - BIQA, scene classification, and distortion type identification, we verify that the proposed BIQA method 1) benefits from the scene classification and distortion type identification tasks and outperforms the state-of-the-art on multiple IQA datasets, 2) is more robust in the group maximum differentiation competition, and 3) realigns the quality annotations from different IQA datasets more effectively. The source code is available at https://github.com/zwx8981/LIQE.

研究の動機と目的

• BIQAにおけるデータ不足の課題を、より注釈が付けやすいラベルを有する補助タスクを活用することで解決すること。
• BIQA（歪みに敏感）と高レベルのビジョンタスク（歪みに不感）との間の概念的矛盾を克服すること。
• 手動のチューニングなしにパラメータ共有と損失重み付けを自動で学習する、自動化されたマルチタスク学習フレームワークを開発すること。
• 異なるIQAデータセット間で品質アノテーションの整合性と知覚的意味の明確さを向上させることを目的とした、再配列化を通じて実現すること。
• 概念的に異なるタスク（例：歪みタイプ同定）であっても、BIQAの性能向上に寄与することを示すこと。

提案手法

• 各画像のシーンカテゴリ、歪みタイプ、品質レベルを統一されたテキストテンプレート（例：「ガウスノイズがかかる街路風景の写真で、品質は悪い」）で表現する。
• CLIPを用いて画像とテキスト記述を共通の視覚的・言語的埋め込みに変換し、統合的表現学習を実現する。
• 画像とテキスト埋め込み間のコサイン類似度を用いて、3つのタスクの結合確率分布を計算する。
• 各タスクの周辺確率を結合分布から導出し、品質スコアは周辺分布を用いた重み付き平均として推定する。
• BIQA、シーン分類、歪みタイプ同定の3つの忠実度損失の重み付き和を最適化し、トレードオフを自動化するための動的損失重み付けを用いる。
• シーンおよび歪みラベルを追加した統合IQAデータセット上で、パラメータ共有と統合最適化を可能にするエンドツーエンドの訓練を実施する。

Figure 2 : System diagram of the proposed LIQE.

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークにおいて、シーン分類や歪みタイプ同定といった補助タスクはBIQAに恩恵をもたらすか？
• RQ2 視覚言語対応性を活用することで、マルチタスクBIQAにおける自動的なパラメータ共有と損失重み付けをどのように学習できるか？
• RQ3 概念的に対立するタスク（例：シーン分類）と同時に最適化することで、BIQAの性能と耐性が向上するか？
• RQ4 提案手法は、異なるIQAデータセットからの品質スコアを、より知覚的に一貫性のあるスケールに再配列化できるか？
• RQ5 各補助タスクが最終的なBIQA性能に果たす相対的寄与度は何か？

主な発見

• LIQEは、複数のBIQAデータセットで最先端の手法を上回り、標準的およびグループ最大差分ベンチマークの両方で高い中央値のSRCC（Spearmen順位相関係数）を達成した。
• 歪みタイプ同定の導入により、BIQAの性能が顕著に向上した。これは、タスク間の協調的関係が存在することを示している。
• 動的損失重み付けを用いたモデルは、等重み付けよりも優れた結果を達成しており、手動によるハイパーパramータチューニングの必要性がなくなる。
• 訓練中に言語エンコーダーを固定すると性能が低下するため、品質関連の概念は事前学習を超えた微調整が必要であると示された。
• LIQEは、6つの異なるIQAデータセットからの平均意見スコア（MOS）を、より知覚的に一貫性のあるスケールに成功して再配列化し、UNIQUEなどの先行手法を上回った。
• BIQAに最適化された視覚エンコーダー表現は、事前学習済みCLIPとは乖離しており、BIQA固有の最適化が他のタスクへの一般化可能性から逸脱することを示している。

Figure 3 : gMAD competition results between UNIQUE [ 78 ] and LIQE. (a) Fixed UNIQUE at the low-quality level. (b) Fixed UNIQUE at the high-quality level. (c) Fixed LIQE at the low-quality level. (d) Fixed LIQE at the high-quality level.