[論文レビュー] Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection

Youbao Tang, Xiangqian Wu+1 more|arXiv (Cornell University)|Aug 18, 2016

Visual Attention and Saliency Detection参考文献 35被引用数 4

ひとこと要約

本稿では、文脈的特徴の学習を強化するため各畳み込み層に再帰的接続を統合し、深層監視のためにサイドアウトプット層を用いることで特徴の識別性を向上させる、深層監視付き再帰的畳み込みニューラルネットワーク（DSRCNN）を提案する。マルチスケール予測の統合により高品質なサリエンシー地図を生成することで、5つのベンチマークデータセットにおいて最先端の性能を達成している。

ABSTRACT

This paper proposes a novel saliency detection method by developing a deeply-supervised recurrent convolutional neural network (DSRCNN), which performs a full image-to-image saliency prediction. For saliency detection, the local, global, and contextual information of salient objects is important to obtain a high quality salient map. To achieve this goal, the DSRCNN is designed based on VGGNet-16. Firstly, the recurrent connections are incorporated into each convolutional layer, which can make the model more powerful for learning the contextual information. Secondly, side-output layers are added to conduct the deeply-supervised operation, which can make the model learn more discriminative and robust features by effecting the intermediate layers. Finally, all of the side-outputs are fused to integrate the local and global information to get the final saliency detection results. Therefore, the DSRCNN combines the advantages of recurrent convolutional neural networks and deeply-supervised nets. The DSRCNN model is tested on five benchmark datasets, and experimental results demonstrate that the proposed method significantly outperforms the state-of-the-art saliency detection approaches on all test datasets.

研究の動機と目的

• 画像内の局所的・グローバル的・文脈的特徴を効果的に捉えることで、サリエンシー検出を向上させること。
• 標準的なCNNが長距離依存関係や文脈的情報をモデル化する点で抱える限界を解消すること。
• 中間段階のサイドアウトプットを用いた深層監視により特徴学習を強化すること。
• 複数レベルの予測を統合することで、頑健で正確なサリエンシー地図の生成を実現すること。
• 従来の最先端手法と比較して、ベンチマークデータセットで優れた性能を達成すること。

提案手法

• DSRCNNは、バックボーンアーキテクチャとしてVGGNet-16を採用している。
• 各畳み込み層に再帰的接続を導入し、特徴表現を段階的に精錬し、長距離依存関係をモデル化する。
• 複数の中間段階にサイドアウトプット層を追加することで、深層監視を可能にし、学習の安定性を向上させる。
• 各サイドアウトプットはサリエンシー地図を出力し、すべてを統合して最終予測を生成する。
• すべてのサイドアウトプットと最終出力からの監視を組み合わせたマルチタスク損失を用いてネットワークを訓練する。
• VGG-16ベースからの残差接続とスキップ接続を用いたエンドツーエンド最適化により、特徴学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層に再帰的接続を導入することで、サリエンシー検出における文脈的特徴学習が向上するか？
• RQ2 中間段階のサイドアウトプットによる深層監視は、より頑健で識別性の高い特徴をもたらすか？
• RQ3 異なるネットワーク深さからのマルチスケール予測の統合は、サリエンシー地図の品質を向上させるか？
• RQ4 提案されたDSRCNNは、標準的なベンチマークで最先端手法と比較してどのように性能を発揮するか？
• RQ5 局所的・グローバル的・文脈的特徴の統合は、検出精度をどの程度向上させるか？

主な発見

• DSRCNNは、5つのベンチマークデータセットすべてで、既存の最先端手法を顕著に上回る性能を発揮した。
• 再帰的接続の導入により、特徴マップ間の長距離依存関係をモデル化することで、特徴表現が向上した。
• サイドアウトプットによる深層監視により、学習中の特徴の識別性とネットワークの頑健性が向上した。
• 複数段階からの予測統合により、より正確で詳細なサリエンシー地図が得られた。
• すべてのデータセットにおいて、平均絶対誤差（MAE）、F-measure、精度再現率指標の観点で優れた性能を達成した。
• アブレーションスタディにより、再帰的接続と深層監視の両方が性能向上に有効であることが確認された。