[論文レビュー] Quality-aware Pre-trained Models for Blind Image Quality Assessment

Kai Zhao, Kun Yuan+3 more|arXiv (Cornell University)|Mar 1, 2023

Image and Video Quality Assessment被引用数 6

ひとこと要約

本稿では、ラベルなしの品質データを用いずにImageNetから品質に敏感な表現を学ぶ自己教師付き対照的学習フレームワークを用いて、盲目的な画像品質評価（BIQA）のための品質認識型事前学習（QPT）モデルを提案する。2×10⁷通りの可能な歪みを有する複雑な歪み空間と品質認識型対照的損失を設計することで、5つのベンチマークで下流のBIQA性能が著しく向上し、SRCCで最大8.75%の向上を達成した。

ABSTRACT

Blind image quality assessment (BIQA) aims to automatically evaluate the perceived quality of a single image, whose performance has been improved by deep learning-based methods in recent years. However, the paucity of labeled data somewhat restrains deep learning-based BIQA methods from unleashing their full potential. In this paper, we propose to solve the problem by a pretext task customized for BIQA in a self-supervised learning manner, which enables learning representations from orders of magnitude more data. To constrain the learning process, we propose a quality-aware contrastive loss based on a simple assumption: the quality of patches from a distorted image should be similar, but vary from patches from the same image with different degradations and patches from different images. Further, we improve the existing degradation process and form a degradation space with the size of roughly $2 imes10^7$. After pre-trained on ImageNet using our method, models are more sensitive to image quality and perform significantly better on downstream BIQA tasks. Experimental results show that our method obtains remarkable improvements on popular BIQA datasets.

研究の動機と目的

• 深層学習の性能を制限する盲目的な画像品質評価（BIQA）におけるラベル付きデータの限界を解消すること。
• 意味的特徴に焦点を当てた従来の事前学習モデル（例：ImageNet）の不適切な転送性を克服すること。
• 低レベルの歪みへの感受性とコンテンツ-品質の相互作用を捉えることのできる、BIQAに特化した自己教師付きプロメイトタスクを開発すること。
• 本物の画像歪みを模倣する現実的で大規模な歪み空間を構築し、表現学習を向上させること。

提案手法

• シャッフル順序、高次演算、スキップ接続を組み合わせた新たな歪みプロセスを設計し、複雑な現実世界の歪みを模倣すること。
• 約2×10⁷種類の異なる歪みタイプを有する歪み空間を構築し、対照的学習のための多様なデータ拡張を可能にすること。
• 同じ歪み画像からのパッチをポジティブペアとして扱い、異なる画像間（コンテンツベースのネガティブ）および異なる歪み間（歪みベースのネガティブ）のパッチを区別する品質認識型対照的損失（QC-Loss）を提案すること。
• MoCoV2フレームワークを自己教師付き事前学習に適応し、QC-Lossを用いてモデルが意味的コンテンツではなく画像品質に敏感になるように学習させること。
• 提案されたQC-Lossと歪み拡張を用いてImageNetで事前学習し、その後下流のBIQAデータセットで微調整または線形プローブすること。
• 同じ事前学習重みを複数のBIQAベンチマークで再利用することで、タスク固有の適応なしに一般化性能を確保すること。

Figure 1 : The two images in the first row are sampled from BIQA dataset CLIVE [ 20 ] . Although they have the same semantic meaning, their perceptual qualities are quite different: their mean opinion scores (MOS) are 31.83 and 86.35. The second row shows modified versions of the first two images an

実験結果

リサーチクエスチョン

• RQ1 画像品質の差に焦点を当てた自己教師付きプロメイトタスクが、盲目的な画像品質評価のための表現学習を向上させることができるか？
• RQ2 大規模かつ多様な歪み空間が、BIQAにおける事前学習特徴の品質認識性に与える影響は何か？
• RQ3 対照的学習目的におけるコンテンツベースのネガティブペアと歪みベースのネガティブペアの相対的寄与度は何か？
• RQ4 標準的な対照的学習や教師あり事前学習と比較して、提案されたQC-Lossが下流のBIQA性能をどの程度向上させるか？

主な発見

• 提案されたQPT手法は、5つの標準的なBIQAベンチマークで最先端の性能を達成し、BIDデータセットではSRCC 0.8875、PLCC 0.9109を達成した。
• CLIVEデータセットでは、QPTはSRCC 0.8947、PLCC 0.9141を達成し、線形プローブ評価でMoCoに比べてSRCCで8.75%、PLCCで8.17%の向上を示した。
• アブレーションスタディにより、サンプル間（コンテンツベース）およびサンプル内（歪みベース）のネガティブペアを併用することで最高の性能が得られ、サンプル間ネガティブペアを除去すると顕著な低下が確認された。
• 歪みプロセスにおけるシャッフル、高次演算、スキップ接続の組み合わせが最も高い性能を発揮し、BIDデータセットでSRCC 0.8875、PLCC 0.9109を達成した。
• QPT重みを用いたエンドツーエンドの微調整が最高の結果（BIDデータセット：SRCC 0.8875、PLCC 0.9109）を達成し、線形プローブを超える学習特徴の有効性を確認した。
• QPT事前学習モデルは複数のデータセットにわたって良好に一般化され、再学習や適応なしに強い転送性を示した。

Figure 2 : Illustration of generating distorted images using different compositions of degradation. Compared with the process of fixed sequence, the introduced skip, shuffle and high-order largely increase the degradation space, covering diverse and realistic distortions.