[論文レビュー] Salient Object Detection via High-to-Low Hierarchical Context Aggregation

Yun Liu, Yu Qiu+4 more|arXiv (Cornell University)|Dec 28, 2018

Visual Attention and Saliency Detection参考文献 53被引用数 5

ひとこと要約

本稿では、上位から下位への階層的コンテキスト集約ネットワークを提案し、時計型アーキテクチャにおいて中間監督を活用することで、段階的にグローバルからローカルなコンテキスト特徴を学習する。これらの階層的特徴を統合することで、単純ながらも効果的な設計により、6つのベンチマークデータセットで最先端の性能を達成し、複雑な統合アーキテクチャを上回る。

ABSTRACT

Recent progress on salient object detection mainly aims at exploiting how to effectively integrate convolutional side-output features in convolutional neural networks (CNN). Based on this, most of the existing state-of-the-art saliency detectors design complex network structures to fuse the side-output features of the backbone feature extraction networks. However, should the fusion strategies be more and more complex for accurate salient object detection? In this paper, we observe that the contexts of a natural image can be well expressed by a high-to-low self-learning of side-output convolutional features. As we know, the contexts of an image usually refer to the global structures, and the top layers of CNN usually learn to convey global information. On the other hand, it is difficult for the intermediate side-output features to express contextual information. Here, we design an hourglass network with intermediate supervision to learn contextual features in a high-to-low manner. The learned hierarchical contexts are aggregated to generate the hybrid contextual expression for an input image. At last, the hybrid contextual features can be used for accurate saliency estimation. We extensively evaluate our method on six challenging saliency datasets, and our simple method achieves state-of-the-art performance under various evaluation metrics. Code will be released upon paper acceptance.

研究の動機と目的

• 側面出力特徴の統合機構が複雑化する傾向にある既存の顕著性検出器の限界を是正すること。
• 複雑なネットワーク設計と比較して、より単純な階層的コンテキスト集約戦略が優れた性能を達成できるかどうかを検討すること。
• 自己学習的なアプローチにより、高レベル（グローバル）から低レベル（ローカル）の特徴へとコンテキスト表現を学習することで、顕著性推定を向上させること。
• 複雑なネットワーク構造を必要とせず、原理的で階層的な特徴集約によって効果的なコンテキストモデリングが可能であることを示すこと。

提案手法

• 上位から下位の層への特徴学習をガイドする中間監督を備えた時計型ネットワークを設計すること。
• バックボーンCNNの側面出力特徴を活用し、上位から下位への階層的構造でマルチスケールのコンテキスト表現を抽出すること。
• 高レベル特徴が低レベル特徴の学習をガイドする自己学習メカニズムを適用し、コンテキストモデリングを向上させること。
• 階層的コンテキスト特徴を統合して、グローバルとローカルコンテキストを組み合わせたハイブリッド表現を生成し、顕著性予測を改善すること。
• 階層の各レベルで特徴学習を強化するため、マルチスケールの監督を用いてネットワークを訓練すること。
• 最終的なハイブリッドコンテキスト特徴を、エンドツーエンド学習用の最終的な顕著性予測ヘッドの入力として使用すること。

実験結果

リサーチクエスチョン

• RQ1 複雑な統合機構と比較して、側面出力特徴の上位から下位への階層的集約が顕著性検出性能を向上させられるか？
• RQ2 上位から下位への順方向の特徴学習により、顕著なオブジェクト検出におけるグローバル画像構造の表現が向上するか？
• RQ3 過度に複雑なネットワークアーキテクチャを設計しなくても、最先端の性能を達成できるか？
• RQ4 中間監督は、顕著性推定のための階層的コンテキスト学習をどの程度効果的にガイドするか？

主な発見

• 提案手法は6つの挑戦的な顕著性検出ベンチマークで最先端の性能を達成した。
• 複数の評価指標において、既存の最先端手法を上回り、優れた精度を示した。
• 単純な上位から下位への階層的特徴集約機構が、複雑な統合ネットワークを上回る結果を達成した。
• 中間監督の使用により、特徴学習とコンテキスト表現が顕著に向上した。
• グローバルおよびローカルコンテキストの両方を効果的に捉えることができ、より正確な顕著性マップが得られた。
• 多様なデータセットにわたり一貫した性能向上が見られ、強力な汎化能力を示した。