[論文レビュー] Selectivity or Invariance: Boundary-aware Salient Object Detection

Jinming Su, Jia Li+3 more|arXiv (Cornell University)|Dec 25, 2018

Visual Attention and Saliency DetectionComputer Science参考文献 50被引用数 20

ひとこと要約

本稿では、顕著オブジェクト検出における選択性と不変性のジレンマに対処するため、逐次畝み率を組み込んだ境界認識ネットワーク（BANet）を提案する。境界部では微細な差を識別できる選択性の高い特徴、内部部では外観変化に対して不変な特徴をそれぞれ得ることを目的とする。境界位置特定ストリーム、内部認識ストリーム、遷移補正ストリームを統合した逐次畝み率モジュールと組み合わせることで、6つのベンチマークデータセットにおいて最先端の性能を達成し、16のSOTA手法を上回るF-measureおよびMAEの顕著な向上を実現した。

ABSTRACT

Typically, a salient object detection (SOD) model faces opposite requirements in processing object interiors and boundaries. The features of interiors should be invariant to strong appearance change so as to pop-out the salient object as a whole, while the features of boundaries should be selective to slight appearance change to distinguish salient objects and background. To address this selectivity-invariance dilemma, we propose a novel boundary-aware network with successive dilation for image-based SOD. In this network, the feature selectivity at boundaries is enhanced by incorporating a boundary localization stream, while the feature invariance at interiors is guaranteed with a complex interior perception stream. Moreover, a transition compensation stream is adopted to amend the probable failures in transitional regions between interiors and boundaries. In particular, an integrated successive dilation module is proposed to enhance the feature invariance at interiors and transitional regions. Extensive experiments on six datasets show that the proposed approach outperforms 16 state-of-the-art methods.

研究の動機と目的

• 外観変化に対して不変な内部特徴と、微細な差に敏感な境界特徴を同時に実現する必要がある顕著オブジェクト検出における根本的矛盾を解消すること。
• 特に微細な境界部や顕著オブジェクト内に大きな外観変動がある領域におけるセグメンテーション精度を向上させること。
• 異なるオブジェクト領域において特徴の選択性と不変性を別々に処理できる統合的ディーブラーニングフレームワークを構築すること。
• 新規のマルチパス畝み率モジュールを用いて、内部部および遷移領域における文脈的特徴抽出を強化すること。

提案手法

• ネットワークは共有特徴を抽出するためのResNet-50バックボーンを採用し、その後に境界位置特定、内部認識、遷移補正の3つの専用ストリームに特徴を供給する。
• 境界位置特定ストリームは、正確な境界検出に適した高選択性特徴を抽出するための単純なサブネットワークを用いる。
• 内部認識ストリームは、統合逐次畝み率（ISD）モジュールを内蔵した複雑なアーキテクチャを用い、外観変動に対して耐性のある不変特徴を抽出する。
• 遷移補正ストリームは、内部部と境界部の間の遷移領域における誤りを是正するために、特徴表現を精緻化する。
• ISDモジュールは、異なる畝み率を持つ複数の並列パスを用いて文脈的集約を強化し、多様な視覚パターン下での特徴の不変性を向上させる。
• 最終的な顕著マップは、3つのストリーム出力の適応的融合によって生成され、正確で包括的な検出を実現する境界認識特徴モザイクを形成する。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、オブジェクト境界部で高い選択性を達成すると同時に、オブジェクト内部で高い不変性を実現できるか？
• RQ2 顕著オブジェクト検出における選択性と不変性のジレンマを緩和するために、どのアーキテクチャ的要素が最も効果的か？
• RQ3 専用の遷移補正ストリームは、不変性から選択性へ特徴要件が変化する領域での性能向上に寄与するか？
• RQ4 統合逐次畝み率モジュールは、複雑な視覚的文脈下で特徴の不変性をどの程度向上させるか？

主な発見

• BANetは6つのベンチマークデータセットにおいて16の最先端手法を上回り、F-measureおよびMAEの両面で一貫した優位性を示した。
• 境界位置特定ストリームの導入のみでMAEが著しく低下し、F-measureが向上した。これは、境界の選択性向上による顕著な性能向上を示している。
• IPS + BLS設定に遷移補正ストリームを追加すると、HKU-ISデータセットでFβスコアが最大1.5%向上し、遷移領域の誤り是正効果が確認された。
• ISDモジュールを削除すると、反射や重なったオブジェクトがある複雑なシーンで顕著オブジェクトの誤検出が顕著に増加した。
• ISDをASPPまたはASPP-Mに置き換えると劣悪な結果が得られ、ISDのマルチパス情報フローが特徴の強固な不変性に不可欠であることを裏付けた。
• 定性的な結果から、BANetはより正確でシャープな境界を生成し、外観変動が大きい状況下でも顕著オブジェクトを一貫した全体像として的確に捉えていることが明らかになった。