[論文レビュー] A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection

Nian Liu, Junwei Han|arXiv (Cornell University)|Oct 6, 2016

Visual Attention and Saliency Detection参考文献 56被引用数 22

ひとこと要約

本稿では、画素間の長距離空間的依存関係を捉え、シーンレベルの調整を組み込むことで、顕著性検出のための新たな深層空間的文脈LSTM（DSCLSTM）を用いた、深層空間的文脈長期間再帰的畳み込みネットワーク（DSCLRCN）を提案する。長期間記憶ユニットと空間的文脈モデリングを統合することで、長距離依存関係を捉え、顕著性予測の精度を向上させ、エンド・トゥ・エンドの学習により、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Traditional saliency models usually adopt hand-crafted image features and human-designed mechanisms to calculate local or global contrast. In this paper, we propose a novel computational saliency model, i.e., deep spatial contextual long-term recurrent convolutional network (DSCLRCN) to predict where people looks in natural scenes. DSCLRCN first automatically learns saliency related local features on each image location in parallel. Then, in contrast with most other deep network based saliency models which infer saliency in local contexts, DSCLRCN can mimic the cortical lateral inhibition mechanisms in human visual system to incorporate global contexts to assess the saliency of each image location by leveraging the deep spatial long short-term memory (DSLSTM) model. Moreover, we also integrate scene context modulation in DSLSTM for saliency inference, leading to a novel deep spatial contextual LSTM (DSCLSTM) model. The whole network can be trained end-to-end and works efficiently when testing. Experimental results on two benchmark datasets show that DSCLRCN can achieve state-of-the-art performance on saliency detection. Furthermore, the proposed DSCLSTM model can significantly boost the saliency detection performance by incorporating both global spatial interconnections and scene context modulation, which may uncover novel inspirations for studies on them in computational saliency models.

研究の動機と目的

• 従来の顕著性モデルが手作業で設計された特徴量や局所的コントラスト機構に依存するという限界を克服すること。
• 人間の視覚皮質の側方抑制を模倣することで、画像内の長距離空間的依存関係をモデル化し、顕著性予測を向上させること。
• 再帰的空間モデリングにシーンの文脈調整を統合し、グローバルな文脈認識を強化すること。
• 局所的特徴とグローバルな文脈的関係の両方を捉えるエンド・トゥ・エンドで学習可能な深層ネットワークを構築すること。
• 独自のアーキテクチャ設計により、顕著性検出ベンチマークデータセットで優れた性能を達成すること。

提案手法

• 画像の各位置にわたる長距離空間的依存関係をモデル化するため、深層空間的長短期記憶（DSLSTM）モジュールを提案する。
• 空間的文脈モデリングとシーンレベルの調整を統合した、深層空間的文脈LSTM（DSCLSTM）を導入し、顕著性推論の精度を向上させる。
• 各画像位置で顕著性関連の局所的特徴を抽出するために、並列な畳み込み特徴学習を用いる。
• 長期間再帰的接続を用いて、空間的位置間で文脈情報を伝搬させ、人間の視覚系における側方抑制を模倣する。
• LSTMゲートにシーンの文脈調整を統合し、グローバルなシーン意味に基づいて特徴表現を動的に調整する。
• 正解の顕著性マップを教師信号として、教師あり学習を用いてネットワーク全体をエンド・トゥ・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 深層再帰的ネットワークは、局所的文脈を超えて、顕著性検出における長距離空間的依存関係を効果的にモデル化できるか？
• RQ2 シーンの文脈調整を組み込むことで、顕著性予測性能はどのように向上するか？
• RQ3 空間的長短期記憶を備えた再帰アーキテクチャは、人間の視覚処理に類似したグローバルな視覚的文脈を捉えることができるか？
• RQ4 統合されたネットワークのエンド・トゥ・エンド学習は、従来の2段階アプローチや手作業で設計された特徴量アプローチを上回る性能を発揮するか？
• RQ5 提案されたDSCLSTMは、標準的な顕著性検出ベンチマークで、どの程度最先端の性能を向上させるか？

主な発見

• 提案されたDSCLRCNは、2つの顕著性検出ベンチマークデータセットで最先端の性能を達成し、既存手法を上回った。
• DSCLSTMにシーンの文脈調整を統合することで、グローバルな文脈認識が向上し、検出精度が著しく向上した。
• DSCLSTMモデルは、長距離空間的相互接続を効果的に捉えており、局所的文脈モデリングを越えた顕著性予測を実現した。
• ネットワーク全体をエンド・トゥ・エンドで学習することで、手作業で設計されたコンponentsを必要とせず、効率的な推論と頑健な特徴学習が可能になった。
• 多様な自然シーンにわたる一般化性能が強く示され、人間の視覚的注意メカニズムに類似した有効なモデリングが行われたことが示された。
• アブレーションスタディにより、長期間再帰的構造とシーンの文脈調整の両方が、性能向上に顕著な寄与をしていることが確認された。