[論文レビュー] Blind Quality Assessment for in-the-Wild Images via Hierarchical Feature Fusion and Iterative Mixed Database Training

Wei Sun, Xiongkuo Min+3 more|arXiv (Cornell University)|May 30, 2021

Image and Video Quality Assessment参考文献 58被引用数 25

ひとこと要約

階段状特徴融合ネットワークと反復的混合データベース学習を用いて、自然画像の品質評価（BIQA）モデルを提案し、多様な歪みと内容に対する一般化を向上させる。

ABSTRACT

Image quality assessment (IQA) is very important for both end-users and service providers since a high-quality image can significantly improve the user's quality of experience (QoE) and also benefit lots of computer vision algorithms. Most existing blind image quality assessment (BIQA) models were developed for synthetically distorted images, however, they perform poorly on in-the-wild images, which are widely existed in various practical applications. In this paper, we propose a novel BIQA model for in-the-wild images by addressing two critical problems in this field: how to learn better quality-aware feature representation, and how to solve the problem of insufficient training samples in terms of their content and distortion diversity. Considering that perceptual visual quality is affected by both low-level visual features (e.g. distortions) and high-level semantic information (e.g. content), we first propose a staircase structure to hierarchically integrate the features from intermediate layers into the final feature representation, which enables the model to make full use of visual information from low-level to high-level. Then an iterative mixed database training (IMDT) strategy is proposed to train the BIQA model on multiple databases simultaneously, so the model can benefit from the increase in both training samples and image content and distortion diversity and can learn a more general feature representation. Experimental results show that the proposed model outperforms other state-of-the-art BIQA models on six in-the-wild IQA databases by a large margin. Moreover, the proposed model shows an excellent performance in the cross-database evaluation experiments, which further demonstrates that the learned feature representation is robust to images with diverse distortions and content. The code is available at https://github.com/sunwei925/StairIQA.

研究の動機と目的

• 合成歪みで訓練されたBIQAモデルが自然環境下の画像で性能不足であるというギャップを解消する。
• 低位・中位・高位の特徴を組み合わせた品質認識表現を学習する。
• 複数のIQAデータベースで訓練し、回帰ヘッドを整列させることで訓練データの制限を緩和する。
• データベース間評価と六つのin-the-wild評価を通じて頑健性と一般化を示す。

提案手法

• 階段状ネットワークを導入し、中間CNN層の特徴を階層的に融合して品質認識表現を形成する。
• 融合前に特徴マップのサイズを整合させるボトルネックモジュールを適用する。
• 段階間で特徴を段階的に統合して勾配伝播と意味情報を保持する（Equation 4 and 5 は融合プロセスを説明する）。
• 各ターゲットデータベースに対して個別の画像品質回帰器を追加し、特徴をデータベース固有の品質空間に写像する。
• 特徴抽出器を共有しつつ、複数のIQAデータベース間で最適化を交互に行うIMDT（iterative mixed database training）戦略を用いて訓練する（Algorithm 1）。
• 予測MOSと真値MOSとの間のユークリッド損失で最適化する（Equation 6）。

実験結果

リサーチクエスチョン

• RQ1 中位レベル特徴の階層的統合は、本物の歪みを含む画像に対するBIQA性能を向上させるか？
• RQ2 別々の回帰器を持つ複数のIQAデータベースで訓練することは、単一データベース訓練よりも一般化を向上させるか？
• RQ3 IMDTは特徴の普遍性とデータベース間の頑健性にどのように影響するか？
• RQ4 in-the-wildデータセットでBIQAにおける階段状融合の利点は従来のバックボーンと比べてどの程度か？

主な発見

手法	CLIVE_SRCC	CLIVE_PLCC	BID_SRCC	BID_PLCC	KonIQ10K_SRCC	KonIQ10K_PLCC	SPAQ_SRCC	SPAQ_PLCC	FLIVE_SRCC	FLIVE_PLCC	FLIVE Patch_SRCC	FLIVE Patch_PLCC
Proposed	0.8992	0.9175	0.9128	0.9284	0.9209	0.9362	0.9238	0.9273	0.5821	0.6936	0.7679	0.8012

• 提案されたモデルはsix in-the-wild IQAデータベースで最先端の性能を達成する。
• データベース間の評価は学習された品質認識特徴の頑健な一般化を示す。
• 階層的特徴融合（staircase network）により、品質評価のための低位・中位・高位の情報をより適切に捉える。
• IMDTは訓練サンプルの多様性を高め、複数データベースでデータベース固有回帰器を用いた訓練によって特徴の一般化を改善する。
• six in-the-wildデータセットで、提案手法は競合するBIQAモデルを大きく上回る。
• Code for StairIQA is released at the project repository.