[論文レビュー] Saliency Detection by Forward and Backward Cues in Deep-CNNs

Nevrez İmamoğlu, Chi Zhang+3 more|arXiv (Cornell University)|Mar 1, 2017

Visual Attention and Saliency Detection参考文献 19被引用数 7

ひとこと要約

この論文では、事前学習された深層畳み込みニューラルネットワーク（CNN）から前向きおよび後向きの特徴を活用することで、教師なしで顕著なオブジェクトを特定する弱教師付きの顕著度検出モデルを提案する。トップダウンの手がかりを部分的にガイドされた逆誤差伝搬を用いて得られるオブジェクト性スコアと、ボトムアップモデルを組み合わせることで、2つのベンチマークデータセットで最先端の性能を達成した。顕著度検出において前向きおよび後向きの手がかりを統合する有効性が示された。

ABSTRACT

As prior knowledge of objects or object features helps us make relations for similar objects on attentional tasks, pre-trained deep convolutional neural networks (CNNs) can be used to detect salient objects on images regardless of the object class is in the network knowledge or not. In this paper, we propose a top-down saliency model using CNN, a weakly supervised CNN model trained for 1000 object labelling task from RGB images. The model detects attentive regions based on their objectness scores predicted by selected features from CNNs. To estimate the salient objects effectively, we combine both forward and backward features, while demonstrating that partially-guided backpropagation will provide sufficient information for selecting the features from forward run of CNN model. Finally, these top-down cues are enhanced with a state-of-the-art bottom-up model as complementing the overall saliency. As the proposed model is an effective integration of forward and backward cues through objectness without any supervision or regression to ground truth data, it gives promising results compared to state-of-the-art models in two different datasets.

研究の動機と目的

• 教師付きアノテーションやラベル付きデータへの回帰なしに動作する顕著度検出モデルの開発。
• 事前学習されたCNNからの前向きおよび後向きの特徴が、顕著な領域を特定するためにどのように役立つかの検証。
• トップダウンのオブジェクト性手がかりとボトムアップの顕著度を統合し、検出性能を向上させること。
• 部分的にガイドされた逆誤差伝搬が、完全な監視がない状況下でも、顕著な特徴選択に十分な情報を提供するかの検証。
• ラベル付きデータを一切使用せず、事前学習済みネットワークの内部表現のみに依存して、標準的な顕著度検出ベンチマークで競争力のある性能を達成すること。

提案手法

• 1000クラスのImageNetで事前学習されたCNNを、オブジェクト性スコアの弱教師付きソースとして使用。
• 顕著度に関連する特徴を強調するため、部分的にガイドされた逆誤差伝搬を適用して後向きの手がかりを抽出。
• フォワードパスで得られるオブジェクト性スコアと、逆誤差伝搬で得られる関連性マップを組み合わせ、トップダウンの顕著度手がかりを生成。
• トップダウンの顕著度を、最先端のボトムアップ顕著度モデルと統合して予測を精緻化。
• 追加のトレーニングや監視を一切使用せず、事前学習済みCNNの内部表現にのみ依存。
• 最終的な顕著度マップを、トップダウン（オブジェクト性に基づく）とボトムアップ（低レベル特徴に基づく）の手がかりの統合として生成。

実験結果

リサーチクエスチョン

• RQ1 教師データなしで、事前学習されたCNNの前向きおよび後向き特徴のみを用いて顕著度検出を効果的に行うことは可能か？
• RQ2 深層CNNからの前向きおよび後向きの手がかりは、画像内の顕著なオブジェクトを特定するためにどのように寄与するか？
• RQ3 完全な監視がない状況下でも、部分的にガイドされた逆誤差伝搬が顕著な特徴の選択に十分な情報を提供するか？
• RQ4 トップダウンとボトムアップの手がかりを統合することで、単独のモデルに比べて顕著度検出性能が向上するか？
• RQ5 アノテーションデータを一切使用せず、標準ベンチマークにおいて提案手法が最先端のアプローチと比較してどうなるか？

主な発見

• 提案手法は、教師付きアノテーションや教師あり微調整を一切必要とせず、2つのベンチマークデータセットで最先端の性能を達成した。
• 部分的にガイドされた逆誤差伝搬は、顕著度検出に適した関連特徴を効果的に捉えており、完全な逆誤差伝搬の必要性を低減した。
• トップダウンのオブジェクト性手がかりとボトムアップの特徴の統合により、顕著度マップの品質と局所化精度が顕著に向上した。
• モデルは強い汎化性能を示し、1000クラスのImageNetに含まれるオブジェクトでないものに対しても顕著なオブジェクトを検出できた。
• DUT-OMRONおよびPASCAL-Sの両データセットにおいて、既存の弱教師付きおよび教師なし顕著度検出モデルを上回る性能を示した。