[論文レビュー] Global Context-Aware Progressive Aggregation Network for Salient Object Detection

Zuyao Chen, Qianqian Xu+2 more|arXiv (Cornell University)|Mar 2, 2020

Visual Attention and Saliency Detection参考文献 38被引用数 14

ひとこと要約

本稿では、特徴の入れ替え融合（FIA）、ヘッドアテンション（HA）、自己精錬（SR）、グローバルコンテキストフロー（GCF）モジュールを統合することで、低レベルの詳細、高レベルの意味論、グローバルコンテキストを組み合わせる、グローバルコンテキストに配慮した段階的特徴統合ネットワーク（GCPANet）を提案する。この手法は、特徴の希釈を軽減し、コンテキスト理解を強化することで、6つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Deep convolutional neural networks have achieved competitive performance in salient object detection, in which how to learn effective and comprehensive features plays a critical role. Most of the previous works mainly adopted multiple level feature integration yet ignored the gap between different features. Besides, there also exists a dilution process of high-level features as they passed on the top-down pathway. To remedy these issues, we propose a novel network named GCPANet to effectively integrate low-level appearance features, high-level semantic features, and global context features through some progressive context-aware Feature Interweaved Aggregation (FIA) modules and generate the saliency map in a supervised way. Moreover, a Head Attention (HA) module is used to reduce information redundancy and enhance the top layers features by leveraging the spatial and channel-wise attention, and the Self Refinement (SR) module is utilized to further refine and heighten the input features. Furthermore, we design the Global Context Flow (GCF) module to generate the global context information at different stages, which aims to learn the relationship among different salient regions and alleviate the dilution effect of high-level features. Experimental results on six benchmark datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both quantitatively and qualitatively.

研究の動機と目的

• 顕著オブジェクト検出におけるマルチレベル特徴のギャップ、特に低レベルの詳細と高レベルの意味論の寄与の不均衡を解消すること。
• エンコーダ・デコーダネットワークにおけるトップダウン特徴伝搬中に高レベル特徴が希釈されるのを軽減すること。
• 複数の顕著領域間の関係を捉えるグローバルコンテキスト情報を統合し、より完全で一貫性のある顕著マップを生成すること。
• 冗長性を低減し、深層部における空間的およびチャネルワイドのアテンションを強化することで、特徴表現を向上させること。
• コンテキストに配慮した方法でマルチスケールおよびグローバル特徴を効果的に統合する段階的統合フレームワークを設計すること。

提案手法

• 特徴の入れ替え融合（FIA）モジュールは、マルチパスの方法で低レベルの外観特徴、高レベルの意味特徴、グローバルコンテキスト特徴を段階的に統合し、構造的詳細と意味的整合性を保持する。
• ヘッドアテンション（HA）モジュールは、空間的およびチャネルワイドのアテンションを適用することで、トップレイヤー特徴を強化し、背景ノイズを抑制し、顕著領域を強調する。
• 自己精錬（SR）モジュールは、内部特徴相関を活用して反復的に特徴マップを精錬することで、表現品質を向上させる。
• グローバルコンテキストフロー（GCF）モジュールは、並列ブランチを用いて段階別グローバルコンテキスト特徴を生成し、複数スケールでのコンテキストに配慮した特徴強化を可能にし、特徴の希釈を低減する。
• FIAおよびSRモジュールを各デコーダ段階に適用することで、アップサンプリングの前に特徴を精錬する、スキップ接続を備えたU-Netに類似したエンコーダ・デコーダアーキテクチャをネットワークが採用する。
• GCFモジュールはグローバル平均プーリングと多層パーセプトロンを用いてグローバルコンテキストを抽出し、その後、適応的に変調され、異なる段階の特徴マップに組み込まれる。

実験結果

リサーチクエスチョン

• RQ1 低レベル、高レベル、グローバルコンテキストのマルチレベル特徴を、構造的または意味的情報を損なわずに効果的に統合する方法は何か？
• RQ2 アテンション機構は、ネットワークの深層部における冗長性をどの程度低減し、判別性の高い特徴を強化できるか？
• RQ3 段階別グローバルコンテキスト特徴は、トップダウン特徴伝搬中の高レベル特徴の希釈を緩和できるか？
• RQ4 FIAおよびSRモジュールによる段階的特徴統合は、顕著マップの境界の正確性と完全性にどのように影響を与えるか？
• RQ5 各提案モジュール（FIA、HA、SR、GCF）の相対的寄与度は、全体の性能向上にどの程度寄与しているか？

主な発見

• 提案されたGCPANetは、F-measure、S-measure、MAEの観点で、6つのベンチマークデータセットにおいて12の最先端手法の中で最高の性能を達成する。
• ECSSDデータセットでは、FIA、SR、HA、GCFの全モジュールを備えたフルモデルがMAE 0.0348を達成し、ベースライン（0.0456）と比較して24.5%の改善を示す。
• アブレーションスタディの結果、FIAのみを備えたベースラインに比べ、SRモジュールを追加することでMAEが14%低減される。
• 段階別グローバルコンテキストを備えたGCFモジュールは、共有グローバルコンテキスト設定を上回り、ECSSDではMAEが3.6%低減（0.0348 vs. 0.0361）する。
• 定性的な結果は、背景/前面の摂動に対して優れたロバストネスを示し、複数の顕著オブジェクト間の関係をよりよく理解していることを示している。
• PRおよびF-measure曲線は、すべての閾値で一貫した優位性を示しており、モデルのロバストネスと一般化能力を裏付けている。