[論文レビュー] Recurrent Attentional Networks for Saliency Detection

Jason Kuen, Zhenhua Wang+1 more|arXiv (Cornell University)|Apr 12, 2016

Visual Attention and Saliency Detection参考文献 48被引用数 51

ひとこと要約

本稿では、空間変換器と再帰ユニットを用いて反復的にサリエンシーマップを精錬することで、部分領域に注目し、マルチスケールオブジェクトの検出を向上させるとともに、反復間での文脈的依存関係を活用する、再帰的注意型畳み込み・デコンボリューションネットワーク（RACDNN）を提案する。RACDNNはECSSD、HKUIS、SED2データセットにおいて最先端手法を上回り、F-measureが最大5%向上し、MAEも顕著に低減している。

ABSTRACT

Convolutional-deconvolution networks can be adopted to perform end-to-end saliency detection. But, they do not work well with objects of multiple scales. To overcome such a limitation, in this work, we propose a recurrent attentional convolutional-deconvolution network (RACDNN). Using spatial transformer and recurrent network units, RACDNN is able to iteratively attend to selected image sub-regions to perform saliency refinement progressively. Besides tackling the scale problem, RACDNN can also learn context-aware features from past iterations to enhance saliency refinement in future iterations. Experiments on several challenging saliency detection datasets validate the effectiveness of RACDNN, and show that RACDNN outperforms state-of-the-art saliency detection methods.

研究の動機と目的

• CNN-DeCNNにおける固定受容 field の制限を解消し、マルチスケールサリエンシーディテクションを促進する。
• 密度的なサリエンシーディテクションに向けた標準的な畳み込み・デコンボリューションネットワークにおける文脈モデリングの欠如を克服する。
• 過去の反復における文脈的情報を活用して、段階的にサリエンシーマップを精錬する再帰的および注意メカニズムを統合する。
• 空間的に適応的で、注意に基づく部分領域への集中を用いて、エンドツーエンドで反復的なサリエンシーパredictionの精錬を可能にする。
• 低レベルのプライアが失敗するような、複雑なシーンに複数または小さなサルエンティオブジェクトが存在する状況での性能を向上させる。

提案手法

• 入力画像全体から初期サリエンシーマップを生成するためのベースとなるCNN-DeCNNを用いる。
• 各反復において、空間変換器を用いて動的に画像の部分領域に注目する再帰的注意モジュールを適用する。
• 注目された部分領域の特徴を、局所的なサリエンシーマップの精錬用の2番目のCNN-DeCNNに供給する。
• 再帰的接続を活用して、前の反復からの文脈的情報を現在の精錬に持ち込む。
• 最終的なサリエンシーマップ出力を精錬するために、mean-shift後処理を用いる。
• 正例サリエンシーマップに対する教師あり損失を用いて、RACDNNフレームワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 再帰的注意メカニズムは、スケールが異なるオブジェクトのサリエンシーディテクションを向上させることができるか？
• RQ2 空間的注目を用いた反復的精錬は、境界の正確性とオブジェクトの詳細保持を向上させることができるか？
• RQ3 過去の反復からの文脈的特徴を活用することで、単一パスネットワークを上回るサリエンシーディテクションが可能になるか？
• RQ4 注目に基づく部分領域への集中は、背景の雑音や複雑なシーンからの干渉を低減できるか？
• RQ5 RACDNNは定量的および定性的に、最先端のサリエンシーディテクションモデルと比較してどのように差をつけるか？

主な発見

• ECSSDデータセットでは、次善の手法（DRFI）に比べて5.0%高いF-measureを達成し、F-measureは87.81%に達した。
• HKUISデータセットでは、MAEを7.03%まで低減し、MCDL（9.13%）とMDF（12.93%）を上回った。
• 定性的な結果では、RACDNNは複数の重なったサルエンティオブジェクト（例：犬と兎）を正しく検出できたが、他の手法は片方を検出できなかった。
• 図1の初期マップと精錬済みマップの比較から、エッジのシャープネスとオブジェクトの詳細保持が顕著に向上していることが示された。
• 非再帰的注意のNRACDNNはベースラインより優れているが、RACDNNに劣っており、再帰的文脈モデリングの有効性が裏付けられた。
• 複雑なシーン（ECSSDおよびHKUIS）では、RACDNNの最先端手法に対する性能向上が顕著に現れており、雑音やスケール変動に対して頑健であることが示された。