[論文レビュー] Active Fine-Tuning from gMAD Examples Improves Blind Image Quality Assessment

Zhihua Wang, Kede Ma|arXiv (Cornell University)|Mar 8, 2020

Image and Video Quality Assessment参考文献 59被引用数 5

ひとこと要約

本稿では、グループ最大差分法（gMAD）コンペティションを通じて同定された困難な画像ペアを段階的に選別・ラベル付けすることで、盲目的画像品質評価（BIQA）の性能を向上させるアクティブなファインチューニングフレームワークを提案する。人間によるラベル付けがなされたgMAD例に基づくDNNベースのBIQAモデルのファインチューニングにより、標準ベンチマークでの性能を損なうことなく、モデルのロバスト性と一般化性能が向上する。

ABSTRACT

The research in image quality assessment (IQA) has a long history, and significant progress has been made by leveraging recent advances in deep neural networks (DNNs). Despite high correlation numbers on existing IQA datasets, DNN-based models may be easily falsified in the group maximum differentiation (gMAD) competition with strong counterexamples being identified. Here we show that gMAD examples can be used to improve blind IQA (BIQA) methods. Specifically, we first pre-train a DNN-based BIQA model using multiple noisy annotators, and fine-tune it on multiple subject-rated databases of synthetically distorted images, resulting in a top-performing baseline model. We then seek pairs of images by comparing the baseline model with a set of full-reference IQA methods in gMAD. The resulting gMAD examples are most likely to reveal the relative weaknesses of the baseline, and suggest potential ways for refinement. We query ground truth quality annotations for the selected images in a well controlled laboratory environment, and further fine-tune the baseline on the combination of human-rated images from gMAD and existing databases. This process may be iterated, enabling active and progressive fine-tuning from gMAD examples for BIQA. We demonstrate the feasibility of our active learning scheme on a large-scale unlabeled image set, and show that the fine-tuned method achieves improved generalizability in gMAD, without destroying performance on previously trained databases.

研究の動機と目的

• 標準データセット上での相関が高いにもかかわらず、深層学習ベースのBIQAモデルにロバスト性の欠如があるという問題に対処すること。
• gMADコンペティションを活用し、知覚的品質予測におけるモデルの欠陥を体系的に露呈させることで、モデルの弱みを同定すること。
• 人間によるラベル付けがなされたgMAD例を用いたアクティブラーニングにより、BIQAの一般化性能を向上させること。
• 既存の合成歪みデータベースでの高い性能を維持しつつ、悪意のある画像ペアに対する耐性を高めること。
• 最小限の人間ラベル付きデータで、実世界の歪みへの効果的な転移を可能にすること。

提案手法

• ラベル付けの不確実性に対処するため、複数のノイズ付きアノテーターを用いてDNNベースのBIQAモデルを事前学習する。
• 初期性能を確立するために、ベースラインモデルを4つの合成IQAデータベースでファインチューニングする。
• ベースラインモデルとフルリファレンスIQA手法との間の予測差を最大限に露呈する画像ペアを、gMADコンペティションを用いて同定する。
• 制御されたラボ環境で、最も特徴的なgMADペアを人間によるアノテーションのために選別する。
• gMADアノテート済み画像と既存のデータベースの組み合わせを再学習することで、反復的なアクティブファインチューニングを実行する。
• 段階的なモデルの改善を実現するため、アクティブラーニングループを適用する。

実験結果

リサーチクエスチョン

• RQ1 gMADで同定された画像ペアは、DNNベースのBIQAモデルの盲点を効果的に露呈できるか？
• RQ2 人間によるラベル付けがなされたgMAD例に対するアクティブファインチューニングは、BIQAモデルのロバスト性と一般化性能を向上させるか？
• RQ3 提案手法は、標準IQAデータベースでの性能を維持しつつ、悪意のある画像ペアに対する耐性を高められるか？
• RQ4 gMAD例からのアクティブファインチューニングは、合成歪みから実世界の歪みへの一般化をどの程度向上させるか？
• RQ5 複数ラウンドのアクティブラーニングを通じて、モデルの性能はどのように変化するか？

主な発見

• 最初のラウンドのアクティブファインチューニングにより、Waterloo Exploration DatabaseにおけるD-testとP-testスコアが向上し、D-testは0.881から0.890に上昇した。
• 2回目のファインチューニング後、D-testスコアが0.881にわずかに低下したため、gMAD例への過学習の兆候が示された。
• 合成から実世界への一般化性能が向上し、SPQAにおけるSRCCは、ベースラインの0.575から2ラウンドのファインチューニング後には0.633に上昇した。
• KonIQ-10kでは、SRCCがベースラインの0.403から2ラウンド後には0.533に向上し、実世界の歪みに対する性能向上が確認された。
• 可視化分析から、モデルがgMAD例に段階的に適応しており、暗くされた画像やテクスチャのある画像など、従来誤分類されていた画像タイプの予測精度が向上したことがわかった。
• 本手法により、モデルの攻撃的性能（perceptually similarな画像の識別能力）が向上した一方で、標準データベースでの優れた性能は保持された。