[論文レビュー] Deep HVS-IQA Net: Human Visual System Inspired Deep Image Quality Assessment Networks.

Soomin Seo, Sehwan Ki+1 more|arXiv (Cornell University)|Feb 14, 2019

Image and Video Quality Assessment被引用数 5

ひとこと要約

この論文では、人間視覚系（HVS）の特徴——特に視覚的注目度とわずかに識別可能な差（JND）——を学習可能な畳み込みニューラルネットワーク（CNN）アーキテクチャに統合した、画像品質評価のための新しい深層学習フレームワーク、Deep HVS-IQA Netを提案する。HVSにインspiredされたフロントエンド処理と、順序を保つ損失関数を用いることで、大規模なIQAベンチマークにおいて最先端の手法を上回る性能を達成した。

ABSTRACT

In image quality enhancement processing, it is the most important to predict how humans perceive processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods based on human visual sensitivity from psychophysical experiments have been extensively studied. Thanks to the powerfulness of deep convolutional neural networks (CNN), many CNN based IQA models have been studied. However, previous CNN-based IQA models have not fully utilized the characteristics of human visual systems (HVS) for IQA problems by simply entrusting everything to CNN where the CNN-based models are often trained as a regressor to predict the scores of subjective quality assessment obtained from IQA datasets. In this paper, we propose a novel HVS-inspired deep IQA network, called Deep HVS-IQA Net, where the human psychophysical characteristics such as visual saliency and just noticeable difference (JND) are incorporated at the front-end of the Deep HVS-IQA Net. To our best knowledge, our work is the first HVS-inspired trainable IQA network that considers both the visual saliency and JND characteristics of HVS. Furthermore, we propose a rank loss to train our Deep HVS-IQA Net effectively so that perceptually important features can be extracted for image quality prediction. The rank loss can penalize the Deep HVS-IQA Net when the order of its predicted quality scores is different from that of the ground truth scores. We evaluate the proposed Deep HVS-IQA Net on large IQA datasets where it outperforms all the recent state-of-the-art IQA methods.

研究の動機と目的

• 視覚的注目度やわずかに識別可能な差（JND）といった人間視覚系（HVS）の特徴を十分に活用していない既存の深層CNNベースのIQAモデルのギャップを埋める。
• フロントエンドでHVSの心理物理学的性質を明示的にモデル化する学習可能なIQAネットワークを構築し、より人間の知覚に整合した品質予測を実現する。
• 品質スコアの相対的順序を保つ順序損失を導入することで、学習の安定性と知覚的関連性を向上させる。
• HVSにインスパイアされた特徴と深層学習を組み合わせることで、大規模なIQAデータセットにおいて最先端の性能を達成する。

提案手法

• CNNによる特徴抽出の前に、人間の知覚を模倣するため、視覚的注目度とJNDモデルをフロントエンドの前処理モジュールとして統合する。
• 深層畳み込みニューラルネットワーク（CNN）を用いて、HVS処理済み画像から階層的特徴を抽出し、品質予測を行う。
• 予測された品質スコアの相対的順序が真の主観的スコアと一致しない場合にペナルティを与える、新しい順序損失関数を採用する。
• HVSにインスパイアされた特徴とCNNパラメータの両方をバックプロパゲーションで最適化できるように、エンド・ツー・エンドでネットワークを訓練する。
• 大規模なIQAデータセットを用いて教師あり学習を行い、モデルが主観的品質スコアに回帰するようにするが、順序損失による正則化も施す。
• 視覚的に重要な画像領域——特に注目度が高く、JNDの閾値に近い領域——が、特徴学習段階で優先的に処理されるようにする。

実験結果

リサーチクエスチョン

• RQ1 人間視覚系（HVS）の特徴、たとえば視覚的注目度やわずかに識別可能な差（JND）を深層学習フレームワークに統合することで、画像品質評価の性能が向上するか？
• RQ2 品質スコアの相対的順序を保つ順序損失関数は、IQAモデルの一般化性能と知覚的整合性をどのように向上させるか？
• RQ3 フロントエンドにHVSにインスパイアされたモジュールを導入することで、深層IQAネットワークにおける知覚的に重要な画像特徴の表現力はどの程度向上するか？
• RQ4 提案されたDeep HVS-IQA Netは、大規模データセットにおいて、既存の最先端の深層学習ベースのIQA手法を上回る性能を達成するか？

主な発見

• Deep HVS-IQA Netは、HVSにインスパイアされた特徴を深層学習フレームワークに統合することで、大規模な画像品質評価データセットで最先端の性能を達成した。
• フロントエンドに視覚的注目度とJNDモデリングを統合することで、モデルの知覚的に関連する歪みの検出能力が顕著に向上した。
• 提案された順序損失関数により、予測された品質スコアの相対的順序が真値と一致するよう学習が促進され、モデルのロバスト性と一般化性能が向上した。
• ベンチマークデータセットにおいて、すべての最近の最先端IQA手法を上回る性能を示し、深層学習ベースの品質評価におけるHVSにインスパイアされた設計の有効性を裏付けた。
• アブレーションスタディにより、HVSフロントエンド処理と順序損失の両方が、独立してかつ相乗的に性能向上に寄与していることが確認された。
• 多様な画像歪みに対して優れた一般化性能を示し、さまざまな知覚的課題に対してもロバストであることがわかった。