[論文レビュー] Salient Region Segmentation

Sen He, Nicolas Pugeault|arXiv (Cornell University)|Mar 15, 2018

Visual Attention and Saliency Detection参考文献 19被引用数 8

ひとこと要約

本稿では、3段階の明著性レベル（高、中、低）を用いたセマンティックセグメンテーションフレームワークを用いて、明著性予測を明著領域セグメンテーションタスクに再定式化することで、回帰ベースの手法よりも高速かつ安定した学習が可能になるとともに、最先端の注視予測性能を達成している。モデルは、心理学的実験結果とも整合するセンター・サブローント様の特徴を学習する。

ABSTRACT

Saliency prediction is a well studied problem in computer vision. Early saliency models were based on low-level hand-crafted feature derived from insights gained in neuroscience and psychophysics. In the wake of deep learning breakthrough, a new cohort of models were proposed based on neural network architectures, allowing significantly higher gaze prediction than previous shallow models, on all metrics. However, most models treat the saliency prediction as a extit{regression} problem, and accurate regression of high-dimensional data is known to be a hard problem. Furthermore, it is unclear that intermediate levels of saliency (ie, neither very high, nor very low) are meaningful: Something is either salient, or it is not. Drawing from those two observations, we reformulate the saliency prediction problem as a salient region extit{segmentation} problem. We demonstrate that the reformulation allows for faster convergence than the classical regression problem, while performance is comparable to state-of-the-art. We also visualise the general features learned by the model, which are showed to be consistent with insights from psychophysics.

研究の動機と目的

• 高次元の明著性マップを回帰する際の本質的曖昧性と困難さを解消するため、問題を明著領域セグメンテーションに再定式化すること。
• 従来の回帰ベースの明著性モデルと比較して、学習の収束性と安定性を向上させること。
• 深層ニューラルネットワークが、センター・サブローント対比といった既知の心理学的原則に整合する特徴を学習するかどうかを調査すること。
• 特にAUCよりも人間の注視パターンをよりよく反映するNSSを用いた注視ベースの指標を用いて性能を評価すること。

提案手法

• ピクセル単位の明著性回帰の代わりに、3段階の明著性セグメンテーションタスク（高、中、低）を提案する。
• 空間分解能を保持するためのスキップ接続を備えた、エンコーダ・デコーダ型U-Netアーキテクチャを採用する。
• 高次元回帰における不安定性を避けるために、セグメンテーションにクロスエントロピー損失を用いる。
• 特徴マップのアップサンプリング時に空間構造を保持するため、デコーダパスでアンプーリングとデコンボリューションを適用する。
• スパースな特徴マップを用いてニューロンの受容野を再構成する、修正された活性化可視化技術を用いて学習された特徴を可視化する。
• 標準偏差を用いてモデル出力を正規化し、出力分散の影響を補正したNSSスコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 離散的な明著性レベルを用いたセグメンテーションタスクに再定式化することで、回帰手法と比較して学習収束性と性能が向上するか？
• RQ2 セグメンテーションモデルが学習する深層特徴は、心理学的に知られているセンター・サブローントパターンと整合するか？
• RQ3 提案手法のセグメンテーションモデルは、注視予測指標において最先端の回帰ベースの明著性モデルと比較して、どのように性能を発揮するか？
• RQ4 予測の標準偏差が増加するとNSSスコアが著しく低下する理由は何か？また、これは評価にどのように影響を及えるか？

主な発見

• セグメンテーションベースのモデルは、たった2,000イテレーション（2エポック）で収束するが、回帰ベースのモデルは収束が遅く、振動を示す。
• 簡略化にもかかわらず、SALICONデータセットにおいてNSSスコア3.1471を達成し、最先端の回帰モデルと同等の注視予測性能を発揮する。
• モデル出力の標準偏差（0.1923）は、明著性マップ（0.0329）や明著領域マップ（0.0777）よりも高いが、正規化後に標準化された明著性スコアが低くなる。
• エンコーダの最終層の最初の64ニューロンにおける学習特徴の可視化により、明著なセンター・サブローントパターンが確認され、心理学的センター・サブローント理論と整合することが裏付けられた。
• 領域制限機構によりAUCは低下するが、NSSは著しく上昇し、NSSが注視ベースの明著性評価に適した指標であると考えられる。
• デコーダでデコンボリューションがアンプーリングよりも優れていることが、セグメンテーションおよび回帰設定の両方で確認され、特に空間的詳細の保持において顕著であった。