[論文レビュー] Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet

Matthias Kümmerer, Lucas Theis+1 more|arXiv (Cornell University)|Nov 4, 2014

Visual Attention and Saliency Detection参考文献 23被引用数 231

ひとこと要約

本論文は、Krizhevskyら（2012）の畳み込みニューラルネットワークから得た事前学習済みImageNet特徴を活用することで、固定化予測を著しく向上させる、Deep Gaze Iと呼ばれるサリエンシー予測モデルを提案する。事前学習済みネットワークの深層特徴マップを用い、固定化データ上で単純な線形モデルを訓練することで、MITサリエンシーベンチマークにおいて最先端のモデルよりも67%高い情報説明率を達成した。

ABSTRACT

Recent results suggest that state-of-the-art saliency models perform far from optimal in predicting fixations. This lack in performance has been attributed to an inability to model the influence of high-level image features such as objects. Recent seminal advances in applying deep neural networks to tasks like object recognition suggests that they are able to capture this kind of structure. However, the enormous amount of training data necessary to train these networks makes them difficult to apply directly to saliency prediction. We present a novel way of reusing existing neural networks that have been pretrained on the task of object recognition in models of fixation prediction. Using the well-known network of Krizhevsky et al. (2012), we come up with a new saliency model that significantly outperforms all state-of-the-art models on the MIT Saliency Benchmark. We show that the structure of this network allows new insights in the psychophysics of fixation selection and potentially their neural implementation. To train our network, we build on recent work on the modeling of saliency as point processes.

研究の動機と目的

• 既存のサリエンシー・モデルが、特に物体のような高レベルの画像特徴をモデル化できないことによる、人間の固定化予測性能の低さを是正する。
• 大規模な画像認識データセットで事前学習されたディープニューラルネットワークを再利用することで、固定化予測におけるデータ不足問題を克服する。
• 低レベルおよび高レベルの視覚的特徴（例：ポップアウトのような抽象的概念）を捉えるサリエンシー・モデルを構築し、予測精度を向上させる。
• 点過程の対数尤度を用いた原理的学習フレームワークを確立し、固定化予測モデルの評価と最適化を可能にする。

提案手法

• 入力画像の固定特徴抽出器として、Krizhevskyら（2012）の畳み込みニューラルネットワーク（AlexNet）を用い、学習済みの階層的表現を活用する。
• 事前学習済みネットワークの複数の中間層（例：conv1からrelu5）の活性化マップを抽出し、入力画像の解像度に合わせてアップサンプリングする。
• 各特徴マップを、各特徴ごとの重みを学習して重み付き和として組み合わせ、深層特徴の重み付き和としてサリエンシー・マップを形成する。
• 点過程モデルにおける観測固定化パターンの対数尤度を最大化することでモデルを訓練し、非線形性のフィッティングを必要としない原理的な最適化を可能にする。
• MIT1003データセット（訓練用に半分、テスト用に半分）を用い、事前学習済みネットワークの重みを固定したまま、固定化データ上で線形モデルを訓練する。
• 特徴の重要度を分析し、最も重みの高い特徴を特定し、それらの応答を画像パッチに対して可視化することで、顔、テキスト、顕著なポップアウト構造に対して感受性があることが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで事前学習されたディープニューラルネットワーク特徴は、従来の低レベルのキューに加えて、サリエンシー予測を向上させることができるか？
• RQ2 顔、テキスト、顕著なオブジェクトのような高レベル特徴は、深層特徴上の線形モデルによってどの程度正確に捉えられ、固定化予測に活用できるか？
• RQ3 点過程モデリングにおける原理的最尤推定（最大対数尤度）の目的関数を用いることで、従来の評価指標よりも優れた性能が得られるか？
• RQ4 KrizhevskyのAlexNetのような事前学習済みネットワークの内部表現は、人間の固定化選択の神経的メカニズムに関する洞察を提供できるか？

主な発見

• Deep Gaze Iは、MITサリエンシーベンチマークにおいて、最先端のモデルよりも67%高い情報説明率を達成し、56%の情報説明率を記録した。
• 非線形性のフィッティングを一切必要とせず、深層特徴そのものが豊富で予測可能な表現を提供していることが示された。
• モデルが学習した最も重要な特徴は、高レベルの視覚的コンセプトに感受性がある：上位1つの特徴は顔に反応し、2番目はテキストに反応し、3番目は顕著なポップアウト構造に反応する。
• モデルは文脈依存的なサリエンシーを捉えており、視覚的探索タスクにおけるターゲット検出に敏感であることが示され、単なる輝度や色のコントラストを超えた抽象的・関係的特徴にも感応している。
• 特徴の可視化により、顔やテキストのような意味的で行動的に関連のある構造をモデルが正しく検出していることが確認され、生物学的および心理学的妥当性が裏付けられた。
• 事前学習済みImageNet特徴の使用により、固定化訓練データが限られた状況でも高い性能を発揮でき、小規模な固定化データセットにおけるエンドツーエンドのディープラーニングで一般的に見られる過学習の問題を回避できた。