[論文レビュー] DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations

Srinivas S S Kruthiventi, Kumar Ayush+1 more|arXiv (Cornell University)|Oct 10, 2015

Visual Attention and Saliency Detection被引用数 41

ひとこと要約

DeepFix は、エンドツーエンド学習を用いて人間の視線固定を予測する完全畳み込みニューラルネットワークであり、中心周囲パターンのような空間的バイアスをモデル化するための新しいロケーションバイアス畳み込み（LBC）層を組み込む。MIT300 および CAT2000 データセットにおいて、SOTA を大きく上回る性能を達成し、NSS、EMD、CC、類似度指標において顕著な優位性を示した。

ABSTRACT

Understanding and predicting the human visual attentional mechanism is an active area of research in the fields of neuroscience and computer vision. In this work, we propose DeepFix, a first-of-its-kind fully convolutional neural network for accurate saliency prediction. Unlike classical works which characterize the saliency map using various hand-crafted features, our model automatically learns features in a hierarchical fashion and predicts saliency map in an end-to-end manner. DeepFix is designed to capture semantics at multiple scales while taking global context into account using network layers with very large receptive fields. Generally, fully convolutional nets are spatially invariant which prevents them from modeling location dependent patterns (e.g. centre-bias). Our network overcomes this limitation by incorporating a novel Location Biased Convolutional layer. We evaluate our model on two challenging eye fixation datasets -- MIT300, CAT2000 and show that it outperforms other recent approaches by a significant margin.

研究の動機と目的

• 画像内の人の視覚的注意（視線固定）を高精度に予測する深層学習モデルの開発。
• 手作業で特徴を設計する従来のサリエンシー・モデルの限界を克服し、階層的かつデータ駆動の特徴を学習する。
• 完全畳み込みネットワークの空間不変性が、中心バイアスなどの位置依存的固定パターンのモデル化を妨げる問題に対処する。
• 大受容 field 畳み込みによるマルチスケールの意味的特徴とグローバル・コンテキストの統合により、サリエンシー予測を向上させる。
• ベンチマークデータセット上でモデルを評価し、既存のSOTA手法を上回る優れた性能を示す。

提案手法

• VGGをインspiredとした深層アーキテクチャを採用し、20層の畳み込み層と小さなカーネルサイズを用いて階層的特徴を抽出する。
• 異なるカーネルサイズの並列畳み込みを用いたインセプションスタイルのモジュールを採用し、マルチスケールの意味的特徴を捉える。
• ネットワークの末端で大受容 field 畳み込み層を用い、グローバルなシーンコンテキストをモデル化し、全結合層を置き換える。
• 位置依存パターン（例：中心バイアス）をモデル化するために、学習可能な空間バイアスマップを畳み込み演算に追加する新しいロケーションバイアス畳み込み（LBC）層を導入する。
• 予測されたサリエンシー・マップと真値マップの差を最小化するように、バックプロパゲーションを用いてエンドツーエンドで学習する。
• LBC層は、活性化関数の前で特徴マップに空間的にブロードキャストされた学習可能な空間バイアスを追加することで、位置に特化した注目学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業で特徴を設計しない完全畳み込みニューラルネットワークは、人間の視線固定を効果的に予測できるか？
• RQ2 深層ネットワークは、サリエンシー予測においてマルチスケールの意味的特徴とグローバルコンテキストの両方をどのようにモデル化できるか？
• RQ3 空間バイアス（例：中心バイアス）を明示的にモデル化する新しい畳み込み層が、標準的なFCNに比べてサリエンシー予測を改善できるか？
• RQ4 提案されたLBC層は、明示的な中心バイアス追加と比較して、性能と一般化能力に優れているか？
• RQ5 AUCベースの指標はなぜ誤検出（誤検出）を正しくペナルティとして反映しないのか？ これはモデル評価にどのような影響を与えるか？

主な発見

• DeepFix は、MIT300 および CAT2000 データセットの両方でSOTAの性能を達成し、NSS、EMD、CC、類似度指標において既存手法を大きく上回った。
• MIT1003 の検証セットでは、LBC変種（DF-LBC）が NSS = 2.58、EMD = 1.28、CC = 0.72 を達成し、LBCなしのベースライン（NSS = 2.54、EMD = 1.45、CC = 0.70）を顕著に上回った。
• アブレーションスタディにより、LBC層を介して位置バイアスを暗黙的に学習することが、平均中心バイアスマップを明示的に追加する手法よりも優れた性能をもたらすことが確認された。
• AUC-Shuffled スコアが低くても、モデルが中心バイアスを正確にモデル化しているため、予測されたサリエンシー・マップは、AUC-Shuffled スコアが高いモデルのものよりも真値に質的に近い。
• AUC指標が誤検出を正しくペナルティとして反映しないことが示された。ぼんやりとしたマップとシャープなマップが同様のスコアを獲得するが、EMD や NSS 指標はこのような誤りを正しくペナルティとして反映している。
• マルチスケール特徴学習、グローバルコンテキスト、学習可能な空間バイアスの組み合わせが、優れたサリエンシー予測を実現することをモデルが示した。