[論文レビュー] Semantic and Contrast-Aware Saliency

Xiaoshuai Sun|arXiv (Cornell University)|Nov 9, 2018

Visual Attention and Saliency Detection参考文献 44被引用数 6

ひとこと要約

本稿では、上位互換の意味的注意（トップダウン）と下位互換のコントラスト検出（ボトムアップ）を統合する2つの並列パスウェイを用いたヒューリスティックなサリエンシー・モデル、SCAFIを提案する。1つのパスウェイはVGG-16の特徴を用いて意味的注意を抽出し、もう1つのパスウェイはマルチスケールのオンライン特徴学習を用いてコントラストパターンを検出する。このモデルは5つのベンチマークデータセットで最先端の性能を達成し、従来の古典的手法およびディープラーニングベースの手法を上回る眼動画予測性能と心理物理学的妥当性を示した。

ABSTRACT

In this paper, we proposed an integrated model of semantic-aware and contrast-aware saliency combining both bottom-up and top-down cues for effective saliency estimation and eye fixation prediction. The proposed model processes visual information using two pathways. The first pathway aims to capture the attractive semantic information in images, especially for the presence of meaningful objects and object parts such as human faces. The second pathway is based on multi-scale on-line feature learning and information maximization, which learns an adaptive sparse representation for the input and discovers the high contrast salient patterns within the image context. The two pathways characterize both long-term and short-term attention cues and are integrated dynamically using maxima normalization. We investigate two different implementations of the semantic pathway including an End-to-End deep neural network solution and a dynamic feature integration solution, resulting in the SCA and SCAFI model respectively. Experimental results on artificial images and 5 popular benchmark datasets demonstrate the superior performance and better plausibility of the proposed model over both classic approaches and recent deep models.

研究の動機と目的

• 意味的（トップダウン）およびコントラスト（ボトムアップ）の両方のヒントを効果的に統合し、より正確な眼動画予測を実現するサリエンシー・モデルの開発。
• 従来のディープラーニング・モデルが意味的オブジェクトに過剰適合し、局所的コントラストパターンを捉えられないという限界を克服すること。
• 意味的パスウェイの学習に大規模な眼動画データを必要としない、学習フリーのヒューリスティック・フレームワークの設計。
• 人工的および自然なサリエントパターンに対して生物学的に妥当な反応を示すよう、モデルを設計すること。

提案手法

• モデルは二重パスウェイアーキテクチャを採用：1つのパスウェイは事前学習済みVGG-16のconv5層特徴を用いてトップダウンのサリエンシーを抽出する。
• もう1つのパスウェイは情報最大化を用いたマルチスケールのオンライン特徴学習を用い、適応的スパース表現を発見し、高コントラストのサリエントパターンを検出する。
• 意味的特徴とコントラスト特徴は、マキシマ正規化を用いて動的に統合され、長期的および短期的注意の両方のヒントをバランスさせる。
• SCAFIバージョンはVGG-16からの特徴を直接プールするため、意味的パスウェイの学習に追加のラベル付きデータを必要としない。
• 最適な性能を得るために、意味的特徴とコントラストマップを重み付き統合戦略（SAS重み）で融合し、conv5出力（w₅）が最適であることが判明した。
• フレームワークは5つのベンチマークデータセットにおけるsAUCスコアを用いて評価され、人工的なサリエントパターンを用いたテストにより生物学的妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 統合されたサリエンシー・モデルは、トップダウンの意味的認識とボトムアップのコントラスト感受性を効果的に統合し、眼動画予測性能を向上させることができるか？
• RQ2 VGG特徴と適応的スパース符号化をヒューリスティックに統合した学習フリーのアプローチは、エンドツーエンドのディープラーニング・モデルを上回るサリエンシー推定性能を達成できるか？
• RQ3 提案手法は、最先端のモデルと比較して、前注意的視覚パターンおよび高コントラスト刺激に対してどの程度適切な反応を示すか？
• RQ4 意味的特徴とコントラスト特徴の最適な統合戦略は何か？ これは、多様なデータセット全体で性能を最大化するために不可欠である。

主な発見

• SCAFIはPASCAL-Partデータセットで平均sAUCスコア0.7238を達成し、DPNおよびDeepGazeIIを上回った。
• Bruceデータセットでは、w₅を用いたSCAFIがsAUC 0.7378を記録し、SACおよびDPNを含む全モデルの中で最高となった。
• SCAFIは閉じたパターンやテクスチャコントラストを示す人工的刺激においてもサリエントパターンを適切に局在化できており、DPN や DeepGazeII よりも優れた心理物理学的妥当性を示した。
• w₁およびw₂重みを用いたモデルは、眼動画予測には最適でないものの、サリエントパターンに対して最も視覚的に妥当な反応を示した。
• SCAFIは全5つのベンチマークデータセットで、以前のSCAモデルを上回った。これは、微調整された意味的パスウェイよりも、直接VGG特徴を抽出する手法の有効性を裏付けている。
• 適応的スパース符号化（CAS）とconv5特徴（SAS）をw₅で統合することで、最高の全体的性能が得られ、全データセットでsAUCスコアが0.70以上を維持した。