[論文レビュー] JND-SalCAR: A Novel JND-based Saliency-Channel Attention Residual Network for Image Quality Prediction

Soomin Seo, Sehwan Ki+1 more|arXiv (Cornell University)|Feb 14, 2019

Image and Video Quality Assessment被引用数 2

ひとこと要約

本論文では、視覚的注目度とわずかに識別可能な差（JND）を含む人間視覚系（HVS）の特徴を学習可能な残差ネットワークに統合した、画像品質評価のための新規ディープラーニングフレームワーク、JND-SalCARを提案する。視覚的注目度マップで誘導される空間的およびチャネル的アテンションを持つSalCARブロックを導入し、注目度をピクセル単位の重みガイドとして用いることで、大規模なIQAデータセットで最先端の性能を達成し、人間の知覚的重要性と感度閾値を効果的にモデル化している。

ABSTRACT

In image quality enhancement processing, it is the most important to predict how humans perceive processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods based on human visual sensitivity from psychophysical experiments have been extensively studied. Thanks to the powerfulness of deep convolutional neural networks (CNN), many CNN based IQA models have been studied. However, previous CNN-based IQA models have not fully utilized the characteristics of human visual systems (HVS) for IQA problems by simply entrusting everything to CNN where the CNN-based models are often trained as a regressor to predict the scores of subjective quality assessment obtained from IQA datasets. In this paper, we propose a novel JND-based saliency-channel attention residual network for image quality assessment, called JND-SalCAR, where the human psychophysical characteristics such as visual saliency and just noticeable difference (JND) are effectively incorporated. We newly propose a SalCAR block so that perceptually important features can be extracted by using a saliency-based spatial attention and a channel attention. In addition, the visual saliency map is further used as a guideline for predicting the patch weight map in order to afford a stable training of end-to-end optimization for the JND-SalCAR. To our best knowledge, our work is the first HVS-inspired trainable IQA network that considers both the visual saliency and JND characteristics of HVS. We evaluate the proposed JND-SalCAR on large IQA datasets where it outperforms all the recent state-of-the-art IQA methods.

研究の動機と目的

• 従来のCNNベースのIQAモデルが、視覚的注目度やわずかに識別可能な差（JND）を含む人間視覚系（HVS）の特徴を十分に活用できないという限界を解決すること。
• HVSの心理物理学的原則を明示的に組み込んだ、学習可能でエンドツーエンドのディープラーニングフレームワークを構築すること。
• 視覚的注目度マップをピクセル単位の重み予測のガイドとして用いることで、トレーニングの安定性と知覚的関連性を向上させること。
• 空間的およびチャネル的知覚的重要な領域を同時に強調する新しいアテンションメカニズムを設計すること。
• 人間の知覚をより正確にモデル化することで、大規模な画像品質評価ベンチマークで最先端の性能を達成すること。

提案手法

• 視覚的注目度マップに基づく空間的アテンションとチャネルアテンションを統合した新規なSalCARブロックを提案し、知覚的に重要な特徴を強調する。
• 人間の知覚閾値と一致するように設計されたJNDに基づく損失関数を導入し、微細な歪みへの感度を向上させる。
• トレーニング中にピクセル単位の重みを生成するため、視覚的注目度マップを動的ガイドとして用い、エンドツーエンド最適化の安定性を高める。
• 残差ネットワークアーキテクチャを採用することで、深層特徴抽出を可能にするとともに、勾配の流れとトレーニングの安定性を維持する。
• 空間的およびチャネルワイドの知覚的情報を品質評価に不可欠な形で保持するマルチスケール特徴抽出モジュールを設計する。
• 人間の主観的品質スコアと整合するように、JNDに配慮した監視付きの回帰損失を用いて、ネットワーク全体をエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 視覚的注目度やわずかに識別可能な差（JND）といった人間視覚系（HVS）の特徴をディープラーニングフレームワークに統合することで、画像品質評価の性能が向上するか？
• RQ2 視覚的注目度で誘導されるアテンションメカニズムは、品質予測時に知覚的に重要な画像領域に注目する能力をどのように向上させるか？
• RQ3 ピクセル単位の重み予測に視覚的注目度をガイドとして用いることで、エンドツーエンドIQAネットワークにおけるトレーニングの安定性と一般化性能がどの程度向上するか？
• RQ4 空間的およびチャネル的アテンションを統合したSalCARメカニズムは、従来のアテンションモジュールに比べてIQAタスクで優れた性能を発揮するか？
• RQ5 HVSにインspiredされ、学習可能なIQAモデルは、大規模で現実世界のIQAデータセットにおいて、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• JND-SalCARは、複数の大規模な画像品質評価データセットで最先端の性能を達成し、最近のすべてのSOTA手法を上回っている。
• 視覚的注目度とJNDの統合により、知覚的に重要な歪みへの感受性が顕著に向上している。
• 注目度ガイド付きのピクセル単位の重み機構により、エンドツーエンド最適化プロセスにおけるトレーニングの安定性と収束性が向上している。
• SalCARブロックは、空間的およびチャネルワイドの知覚的重要性を効果的に捉えており、より正確な品質予測を実現している。
• 人間の視覚知覚を明示的にモデル化しているため、多様な画像歪みに対して優れた一般化性能を示している。
• 定量的評価では、SROCCおよびPLCC指標において、既存手法と比較して一貫した向上が確認され、人間の主観的品質スコアを予測する有効性が裏付けられている。