[論文レビュー] RankIQA: Learning from Rankings for No-reference Image Quality Assessment

Xialei Liu, Joost van de Weijer+1 more|arXiv (Cornell University)|Jul 26, 2017

Image and Video Quality Assessment参考文献 49被引用数 27

ひとこと要約

RankIQAは、相対的な品質が既知である合成的に生成されたランク付き画像ペアを用いて、シアンプルネットワークを訓練し、その知識を絶対的品質予測用のCNNに転移する、非参照型画像品質評価手法を提案する。この手法は、TID2013で5%の向上を達成し、参照画像を必要としないにもかかわらずLIVEでフルリファレンス型IQA手法を上回る最先端の性能を達成する。

ABSTRACT

We propose a no-reference image quality assessment (NR-IQA) approach that learns from rankings (RankIQA). To address the problem of limited IQA dataset size, we train a Siamese Network to rank images in terms of image quality by using synthetically generated distortions for which relative image quality is known. These ranked image sets can be automatically generated without laborious human labeling. We then use fine-tuning to transfer the knowledge represented in the trained Siamese Network to a traditional CNN that estimates absolute image quality from single images. We demonstrate how our approach can be made significantly more efficient than traditional Siamese Networks by forward propagating a batch of images through a single network and backpropagating gradients derived from all pairs of images in the batch. Experiments on the TID2013 benchmark show that we improve the state-of-the-art by over 5%. Furthermore, on the LIVE benchmark we show that our approach is superior to existing NR-IQA techniques and that we even outperform the state-of-the-art in full-reference IQA (FR-IQA) methods without having to resort to high-quality reference images to infer IQA.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）の学習を制限する、大規模かつ人間がアノテートしたIQAデータセットの不足に対処する。
• 画像品質のための人間の評価スコア（MOS）を収集する高コストかつ人的負担の大きい作業を克服する。
• 合成的に生成された画像順序付けを活用して、強力なIQA特徴を事前学習する手法を開発する。
• スパースなラベル付きデータに対する直接回帰に代えて、順序付けに基づく事前学習により、より深くかつ広いネットワークの学習を可能にする。
• 参照画像にアクセスできない状況でも、標準的なIQAベンチマークで優れた性能を達成する。

提案手法

• 合成的歪みを加えた画像ペアを用いて、相対的品質を予測するように、シアンプルネットワークを訓練する。
• 綺麗な画像にさまざまな強度の歪みを適用することで、品質順序が既知である大規模な順序付けデータセットを生成する。
• 微調整により、事前学習されたシアンプルネットワークの知識を標準的なCNNに転移し、絶対的品質回帰を実行する。
• 1回の順方向プロパゲーションでバッチ内のすべての画像ペアを処理し、すべてのペairワイズ比較からの勾配を計算する、効率的なバックプロパゲーション手法を導入する。
• シアンプルネットワークの埋め込み空間を特徴抽出器として使用し、その後、LIVE や TID2013 などの実際のIQAデータセットで最終の回帰ヘッドを微調整する。
• 非IQAデータセット（例：Places2）で学習し、LIVEで微調整することで、同等の性能を達成できることを示し、転移可能性を実証する。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした品質スコアではなく、ランク付き画像ペアのみを用いて、深層学習モデルが非参照型IQAで最先端の性能を達成できるか？
• RQ2 合成的に生成された順序付けから学習した知識が、多様な歪みに一般化され、NR-IQAにおける一般化性能を向上させられるか？
• RQ3 提案されたシアンプルネットワーク向けの効率的なバックプロパゲーション手法が、標準的なサンプリング戦略と比較して、より速い収束と優れた性能をもたらすか？
• RQ4 非IQAデータセット（例：Places2）で事前学習したモデルが、微調整を経てIQAベンチマークで高い性能を達成できるか？
• RQ5 元の歪みのない画像にアクセスできない状況でも、非参照型IQAモデルがフルリファレンス型IQA手法を上回ることは可能か？

主な発見

• TID2013ベンチマークでは、RankIQA+FTがLCCおよびSROCCの両面で5%以上の性能向上を達成し、最先端の性能を更新した。
• LIVEデータセットでは、すべての歪みタイプでLCCが0.981、SROCCが0.980を達成し、既存のNR-IQA手法および最先端のFR-IQA手法DCNNを上回った。
• LIVEのJPEG歪みサブセットでは、SROCCが0.991、LCCが0.994を記録し、挑戦的な歪みに対しても優れた性能を示した。
• Places2データセットで学習したRankIQAは、Waterlooで学習したモデルとほぼ同等の性能（SROCC: 0.980、LCC: 0.981）を達成し、IQA特化データに依存しないことを示した。
• 提案された効率的なバックプロパゲーション手法は、標準的なペアサンプリングやハードネガティブマイニングと比較して、より速い収束と低い損失に到達した。
• 順序付け学習中に見られなかった歪みタイプに対しても、モデルの一般化性能が高く、歪みタイプ間で共通の品質表現が学習されていることが示された。