[論文レビュー] An Attention-Driven Approach of No-Reference Image Quality Assessment

Diqi Chen, Yizhou Wang+2 more|arXiv (Cornell University)|Dec 12, 2016

Image and Video Quality Assessment参考文献 22被引用数 4

ひとこと要約

本稿では、強化学習を用いてタスクに有用な画像領域をサンプリングすることで、動的知覚プロセスとしてのIQAをモデル化する注目型の非参照画像品質評価（NR-IQA）手法を提案する。視覚的注目、ロバスト平均化、マルチタスク学習を統合することで、最小限の注視点で高い精度と効率性を実現し、TID2008データセット上で最先端の性能を達成した。

ABSTRACT

In this paper, we present a novel method of no-reference image quality assessment (NR-IQA), which is to predict the perceptual quality score of a given image without using any reference image. The proposed method harnesses three functions (i) the visual attention mechanism, which affects many aspects of visual perception including image quality assessment, however, is overlooked in the NR-IQA literature. The method assumes that the fixation areas on an image contain key information to the process of IQA. (ii) the robust averaging strategy, which is a means \--- supported by psychology studies \--- to integrating multiple/step-wise evidence to make a final perceptual judgment. (iii) the multi-task learning, which is believed to be an effectual means to shape representation learning and could result in a more generalized model. To exploit the synergy of the three, we consider the NR-IQA as a dynamic perception process, in which the model samples a sequence of "informative" areas and aggregates the information to learn a representation for the tasks of jointly predicting the image quality score and the distortion type. The model learning is implemented by a reinforcement strategy, in which the rewards of both tasks guide the learning of the optimal sampling policy to acquire the "task-informative" image regions so that the predictions can be made accurately and efficiently (in terms of the sampling steps). The reinforcement learning is realized by a deep network with the policy gradient method and trained through back-propagation. In experiments, the model is tested on the TID2008 dataset and it outperforms several state-of-the-art methods. Furthermore, the model is very efficient in the sense that a small number of fixations are used in NR-IQA.

研究の動機と目的

• 未知の歪みタイプ、空間的分布、情報統合の課題に対処するため、非参照画像品質評価（NR-IQA）における課題を解決すること。
• 人間の注視行動を模倣することで、品質判断に重要な画像領域を特定する視覚的注目をNR-IQAに統合すること。
• 画像品質スコアと歪みタイプの同時予測を通じて表現学習と一般化性能を向上させるマルチタスク学習により、表現の質を向上させること。
• 選択された画像パッチからの段階的証拠を統合するロバスト平均化戦略を採用することで、予測のロバスト性と効率性を向上させること。
• 正確かつ効率的なIQAに適した、動的で強化学習に基づくサンプリングポリシーを学習する。

提案手法

• 確率的方策ネットワーク（位置サンプリングモジュール）が、以前に注視された領域からの累積的情報に基づいて注視点を選択する強化学習フレームワークを採用する。
• 各注視点において、注視点を中心とする3種類のスケールの画像パッチを抽出し、共有畳み込みニューラルネットワーク（多スケール画像分析モジュール）で処理してタスク関連特徴を抽出する。
• 情報統合モジュールに組み込まれた再帰的ニューラルネットワーク（RNN）が、隣接する注視点からの特徴を統合するための隠れ状態を維持し、動的表現を形成する。
• 特徴表現の質を向上させるために、マルチタスク学習設定により、画像品質スコアの予測と歪みタイプの分類という2つの目的を同時に最適化する。
• ロバスト平均化戦略により、注視されたパッチからの予測の重み付き平均を計算し、時間的経過に伴う人間の知覚統合を模倣する。
• ポリシー勾配を用いて、2つのタスク（品質スコア予測と歪みタイプ分類）からの報酬を逆伝播し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく注目メカニズムは、最も情報を含む画像領域を学習的にサンプリングすることで、非参照画像品質評価の性能を向上させることができるか？

主な発見

• 提案手法のRL+M+Rモデルは、TID2008データセットでSROCC 0.833、LCC 0.841を達成し、複数の最先端NR-IQA手法を上回った。
• アブレーションスタディにより、ロバスト平均化戦略が顕著に性能向上をもたらすことが確認され、SROCCはRL+Mの0.819からRL+M+Rの0.833に上昇した。
• マルチタスク学習は不可欠である：単独で使用した場合（RL-only）のSROCCは0.646、LCCは0.701にとどまり、共同学習が表現の質を向上させることを示している。
• マルチタスクCNNベースライン（CNN_MT）およびサリエンシー誘導型バージョン（CNN_MT+S）を上回ったことから、静的サリエンシー地図よりもタスク駆動型注目が優れていることが示された。
• 特に局所的歪み（タイプ14：非中心性パターンノイズ、タイプ15：局所的ブロックワイズ歪み）に対して優れた性能を示し、局所的劣化に強く感応していることがわかった。
• 15種類の歪みタイプを分類する際の正確度は87.7%に達し、類似したタイプ（例：タイプ1とタイプ2、両者ともガウスノイズを含むが色チャネルが異なる）の間で混同が主な誤りとなった。