[論文レビュー] CoADNet: Collaborative Aggregation-and-Distribution Networks for Co-Salient Object Detection

Qijian Zhang, Runmin Cong+3 more|arXiv (Cornell University)|Nov 9, 2020

Visual Attention and Saliency Detection参考文献 54被引用数 31

ひとこと要約

CoADNetは、オンラインの intra-saliency 指針を用いて-Co-SODのための画像間関係をエンドツーエンドでモデル化するフレームワーク、2段階の集約と分配構造（グループ注意セマンティック集約とゲート付きグループ分配）、および高品質で一貫したコサリエンスマップを生成するグループ一貫性保持デコーダを提案します。

ABSTRACT

Co-Salient Object Detection (CoSOD) aims at discovering salient objects that repeatedly appear in a given query group containing two or more relevant images. One challenging issue is how to effectively capture co-saliency cues by modeling and exploiting inter-image relationships. In this paper, we present an end-to-end collaborative aggregation-and-distribution network (CoADNet) to capture both salient and repetitive visual patterns from multiple images. First, we integrate saliency priors into the backbone features to suppress the redundant background information through an online intra-saliency guidance structure. After that, we design a two-stage aggregate-and-distribute architecture to explore group-wise semantic interactions and produce the co-saliency features. In the first stage, we propose a group-attentional semantic aggregation module that models inter-image relationships to generate the group-wise semantic representations. In the second stage, we propose a gated group distribution module that adaptively distributes the learned group semantics to different individuals in a dynamic gating mechanism. Finally, we develop a group consistency preserving decoder tailored for the CoSOD task, which maintains group constraints during feature decoding to predict more consistent full-resolution co-saliency maps. The proposed CoADNet is evaluated on four prevailing CoSOD benchmark datasets, which demonstrates the remarkable performance improvement over ten state-of-the-art competitors.

研究の動機と目的

• Co-SODにおける画像間関係のモデリング課題を動機づけ、対処する。
• 学習可能なサリエンシ priors を注入するオンライン・イントラサリエンシ guidance モジュールを提案する。
• グループ意味を捉え適応的に分配する2段階の集約-分配アーキテクチャを設計する。
• 全解像度マップにおいて画像間の一貫性を維持するグループ一貫性保持デコーダを導入する。
• アブレーションを含む複数のCoSODベンチマークで最先端の性能を示す。

提案手法

• Online Intra-Saliency Guidance (OIaSG)を導入し、IaSHと学習可能な融合機構を介してサリエンシ priorsをバックボーン特徴と融合する。
• Group-Attentional Semantic Aggregation (GASA)を開発し、ブロック単位のチャネルシャッフル、アトラス多尺度コンテキスト、自己注意に基づくグローバル依存性を用いて順序に依存しない長距離の画像間関係を構築する。
• Gated Group Distribution (GGD)を提案し、 squeeze-and-excitationベースの推定器によって導かれるゲーティング機構を通じて、イントラ画像特徴とグループ意味を動的に組み合わせる。
• Group Consistency Preserving Decoder (GCPD)を実装し、アップサンプリング時に画像間の制約を保持するカスケード型デコードユニットを用いて全解像度のコサリエンスマップを生成する。
• マルチタスク損失でエンドツーエンド訓練を行い、コサリエンスと単一画像サリエンシ supervision を結合する。

実験結果

リサーチクエスチョン

• RQ1 画像順序や空間的変動に対して頑健な画像間関係をどのようにモデリングできるか。
• RQ2 カテゴリラベルの明示なしにオンラインでサリエンシ priors を学習し、CoSODを導くことは可能か。
• RQ3 2段階の集約-分配パイプラインは、従来手法と比べてコサリエンシ特徴学習を改善するか。
• RQ4 グループ一貫性を維持するデコーダは複数画像のコサリエンスマップの一貫性を高めるか。
• RQ5 CoADNetは標準のCoSODベンチマークで最先端手法と比較してどのような性能を示すか。

主な発見

• CoADNetのバリアントはCosal2015、CoSOD3k、MSRC、iCosegデータセットで、VGG16、ResNet-50、およびDilated ResNet-50をバックボーンとして最先端の結果を達成。
• アブレーション研究はOIaSG、GASA、GGD、GCPDの各構成要素から有意な改善を示し、F-measure、MAE、S-measureで累積的な改善を示す。
• CoADNet-DR（Dilated ResNet-50使用）は最高性能を達成しており、Cosal2015で例: F-measure 0.8874、MAE 0.0599、S-measure 0.8705、他データセットでも同様に顕著な改善。
• 手法はコサリエンスの局在化と背景抑制を一貫して改善し、デコードを通じて画像間の一貫性を維持する。
• CoADNet-V、-R、-DRのバリアントはパラメータ数が約120 MB程度と競合力のあるモデル容量で強力な性能を示す。