[論文レビュー] EGNet:Edge Guidance Network for Salient Object Detection

Jiaxing Zhao, Jiangjiang Liu+4 more|arXiv (Cornell University)|Aug 22, 2019

Visual Attention and Saliency Detection参考文献 65被引用数 78

ひとこと要約

EGNet は、単一のネットワーク内で補完的な顕著エッジ情報と顕著オブジェクト情報をモデル化し、非局所エッジ特徴抽出器と一対一のガイダンス融合を用いて、顕著オブジェクト検出における境界の保持と局在化を改善します。

ABSTRACT

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

研究の動機と目的

• エッジの手がかりと位置情報を活用して、顕著オブジェクトの境界を保持することを動機づける。
• 2つの補完的な情報ストリームをモデル化する：顕著オブジェクト特徴と顕著エッジ特徴。
• エッジ情報とオブジェクト情報を一対一のガイダンス機構で統合する単一ネットワークを開発する。

提案手法

• サイドパスと深層監視を伴うU-Net風の逐次融合を用いて、多解像度の顕著オブジェクト特徴を抽出する。
• 局所的なエッジ手がかりとグローバルな位置情報を、トップダウン伝播スキームを通じて融合する非局所顕著エッジ特徴モジュールを導入する。
• エッジマップの専用のクロスエントロピー損失を用いてエッジ監視を算出する。
• エッジ特徴と多解像度オブジェクト特徴を統合して洗練された顕著性予測を生成する一対一のガイダンスモジュールを提案する。
• エッジ経路とオブジェクト経路の結合損失（深層監視を含む）と融合済み最終マップを用いて訓練する。

Figure 2: The pipeline of the proposed approach. We use brown thick lines to represent information flows between the scales. PSFEM: progressive salient object features extraction module. NLSEM: non-local salient edge features extraction module. O2OGM : one-to-one guidance module. FF: feature fusion.

実験結果

リサーチクエスチョン

• RQ1 顕著エッジ情報と位置情報を効果的にモデル化し、単一ネットワークで顕著オブジェクト特徴と統合できるか。
• RQ2 一対一のガイダンス融合は、ベースラインのマルチスケール融合と比べて境界精度と局在化を改善するか。
• RQ3 エッジ手がかりは、標準ベンチマーク全体で顕著性境界のシャープさと全体的な検出性能に影響を与えるか。

主な発見

• EGNet は、前処理・後処理なしで6つのデータセットにおいて複数の指標で最先端の性能を達成。
• エッジ特徴とオブジェクト特徴の明示的なモデリングと相互ガイダンスは、境界品質と局在化を改善。
• トップダウンの位置伝播と一対一のガイダンスは、エッジのみや単純な融合戦略よりも顕著な改善をもたらす。
• エッジに導かれた特徴は、NLDFスタイルのエッジペナルティと比較して、よりシャープなオブジェクト境界とより良い顕著マップを生み出す。
• アブレーション研究は、提案された要素（エッジ伝播、一対一の融合）が、ベースラインよりも有意な改善をもたらすことを示す。