[論文レビュー] Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild

Avinab Saha, Sandeep Mishra+1 more|arXiv (Cornell University)|Apr 2, 2023

Image and Video Quality Assessment被引用数 4

ひとこと要約

本論文では、Mixture of Experts設定を用いて、重複する画像パッチと多様な歪みを用いた対照的学習により、補完的な高レベルのコンテンツ表現と低レベルの画像品質表現を同時に学ぶ、新しい非教師あり学習フレームワークRe-IQAを提案する。2つの別個のエンコーダーを用いて対照的学習を実施することで、複数の非参照画像品質評価ベンチマークで最先端の性能を達成し、非教師ありの品質に敏感な特徴量が線形回帰器の性能を顕著に向上させることを示している。

ABSTRACT

Automatic Perceptual Image Quality Assessment is a challenging problem that impacts billions of internet, and social media users daily. To advance research in this field, we propose a Mixture of Experts approach to train two separate encoders to learn high-level content and low-level image quality features in an unsupervised setting. The unique novelty of our approach is its ability to generate low-level representations of image quality that are complementary to high-level features representing image content. We refer to the framework used to train the two encoders as Re-IQA. For Image Quality Assessment in the Wild, we deploy the complementary low and high-level image representations obtained from the Re-IQA framework to train a linear regression model, which is used to map the image representations to the ground truth quality scores, refer Figure 1. Our method achieves state-of-the-art performance on multiple large-scale image quality assessment databases containing both real and synthetic distortions, demonstrating how deep neural networks can be trained in an unsupervised setting to produce perceptually relevant representations. We conclude from our experiments that the low and high-level features obtained are indeed complementary and positively impact the performance of the linear regressor. A public release of all the codes associated with this work will be made available on GitHub.

研究の動機と目的

• 非教師ありフレームワークを構築し、参照画像が存在しない現実世界のシナリオにおいて、知覚的に関連する補完的な低レベルの画像品質表現と高レベルのコンテンツ表現を学習すること。
• 参照画像が利用できない状況で、多様かつコンテンツ依存的な歪みを伴う画像品質予測の正確性を向上させることに挑戦すること。
• 本物の歪みを含む画像を用いた非教師あり事前学習が、教師ありベースラインと競合可能な高品質な特徴量を生成できることを示すこと。
• Mixture of Expertsアプローチが、コンテンツと品質表現を分離することで、IQA性能の向上に有効であることを検証すること。

提案手法

• Mixture of Expertsフレームワークにより、MoCo-v2の対照的学習を用いた高レベルのコンテンツ特徴量用エンコーダーと、低レベルの品質に敏感な特徴量用エンコーダーを別々に訓練する。
• 品質に敏感なエンコーダーは、重なり合う画像パッチに基づく対照的学習目的関数を用い、知覚的な品質に敏感な特徴量（PQAF）を学習する。これは、品質知覚における局所的類似性を仮定している。
• 同じ画像からのパッチをポジティブペアとし、異なる画像からのパッチをネガティブペアとして扱うことで、識別的な品質表現学習を促進する。
• 本フレームワークは3つの主要な仮説を想定している：(1) 品質知覚は画像内でもコンテンツに応じて局所的に変化する、(2) 異なるソースからの画像は異なる品質を持つ、(3) 同じ画像の異なる歪みは、異なる知覚的品質スコアをもたらす。
• 事前学習後、固定されたエンコーダーが特徴量を抽出し、KonIQ、AVA、LIVE-IQAなどのデータベースからの真値品質スコアを予測するための線形回帰器に供給される。
• 本手法は非参照（Re-IQA-NR）およびフルリファレンス（Re-IQA-FR）の両設定で評価され、パッチの重なり度とモデル構成に関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 非教師あり対照的学習は、高レベルのコンテンツ特徴量と補完的な低レベルの品質に敏感な画像表現を効果的に抽出できるか？
• RQ2 コンテンツ表現と品質表現の併用は、単独で使用する場合と比較して、非参照画像品質評価の性能を向上させるか？
• RQ3 実世界の歪みを含む画像を用いた非教師あり事前学習は、教師ありImageNet事前学習と比較して、IQA特徴量学習においてどのように異なるか？
• RQ4 画像内および画像間での知覚的品質の変動に関する本研究の仮説が、効果的な特徴量学習を支える程度はどの程度か？

主な発見

• Re-IQAは、KonIQ、AVA、LIVE-IQAといった大規模なIQAデータベースで最先端の性能を達成しており、KonIQおよびAVAではスピアマン順位相関係数（SRCC）が0.85を超える。
• リファレンス画像を用いるRe-IQA-FRバージョンは、Re-IQA-NRよりもわずかに高いSRCCおよびPLCCを達成しており、追加のリファレンス情報の利点を確認している。
• 品質に敏感な特徴量のt-SNE可視化では、高品質および低品質の画像が明確にクラスタリングされており、重複は最小限に抑えられており、知覚的品質レベルの有効な分離が示されている。
• アブレーションスタディにより、パッチの重なり度が性能に顕著に影響することが確認され、最適な結果は中程度の重なりで得られており、局所的品質知覚仮説の妥当性が裏付けられている。
• MoCo-v2を用いた非教師ありResNet-50エンコーダーは、教師ありImageNet事前学習済みResNet-50よりもIQAにおけるコンテンツ表現品質が優れている。これは、本物の歪みを含む自己教師あり事前学習の利点を示している。