[論文レビュー] CoSformer: Detecting Co-Salient Object with Transformers

Lv Tang, Li, Bo|arXiv (Cornell University)|Apr 30, 2021

Visual Attention and Saliency Detection参考文献 55被引用数 13

ひとこと要約

CoSformerは、入力順序に依存しない相互画像関係をモデル化し、対照学習スキームを導入することで安定性と性能を向上させる、Transformerベースのフレームワークを提案する。自己注意メカニズムとBCE、SSIM、F-measure損失を含むマルチ損失最適化を組み合わせることで、CoCA、CoSOD3k、Cosal2015ベンチマークで最先端の結果を達成する。

ABSTRACT

Co-Salient Object Detection (CoSOD) aims at simulating the human visual system to discover the common and salient objects from a group of relevant images. Recent methods typically develop sophisticated deep learning based models have greatly improved the performance of CoSOD task. But there are still two major drawbacks that need to be further addressed, 1) sub-optimal inter-image relationship modeling; 2) lacking consideration of inter-image separability. In this paper, we propose the Co-Salient Object Detection Transformer (CoSformer) network to capture both salient and common visual patterns from multiple images. By leveraging Transformer architecture, the proposed method address the influence of the input orders and greatly improve the stability of the CoSOD task. We also introduce a novel concept of inter-image separability. We construct a contrast learning scheme to modeling the inter-image separability and learn more discriminative embedding space to distinguish true common objects from noisy objects. Extensive experiments on three challenging benchmarks, i.e., CoCA, CoSOD3k, and Cosal2015, demonstrate that our CoSformer outperforms cutting-edge models and achieves the new state-of-the-art. We hope that CoSformer can motivate future research for more visual co-analysis tasks.

研究の動機と目的

• 逐次モデル化における入力画像順序依存性が引き起こす既存のCoSOD手法の不安定性を解消すること。
• 相互画像分離性をモデル化することで、真の共通顕著オブジェクトとノイズのノイズ要因との判別性を向上させること。
• 自己注意メカニズムを用いて、画像内顕著性と画像間一貫性を統合的に最適化するエンドツーエンドのフレームワークを構築すること。
• BCE、SSIM、F-measure損失を用いたマルチ損失最適化により、予測された顕著マップの境界精度と構造的詳細を向上させること。

提案手法

• 順序に依存しない方法で相互画像関係をモデル化するための新規なトークン誘導学習（TGL）モジュールを備えたTransformerベースのアーキテクチャを採用する。
• 共通顕著領域をポジティブペア、非共通顕著領域をネガティブペアとして扱う対照学習損失を導入し、埋め込み空間の判別性を向上させる。
• 二重ブランチ構造を採用：一方のブランチは画像内顕著性（ピクセルレベルの注目）を処理し、もう一方は画像間一貫性（画像レベルの注目）を処理する。
• BCE、SSIM、F-measure損失を用いたマルチタスク監視を適用し、境界の詳細を精緻にし、全体的なセグメンテーション品質を向上させる。
• 順序不変性を保持し、グループ表現学習の不安定化を防ぐために、TGLモジュールに位置エンコーディングを導入しない。
• 自己注意を用いてすべての画像間でペairwise類似度を計算し、長距離依存性のモデル化と安定したグループ表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャは、入力画像順序の変動に対してCoSODモデルの安定性を向上させることができるか？
• RQ2 対照学習を用いて相互画像分離性をモデル化することで、ノイズの多い要因から真の共通顕著オブジェクトをよりよく分離できるか？
• RQ3 自己注意を用いて画像内顕著性と画像間一貫性を同時に最適化することで、優れたセグメンテーション性能が得られるか？
• RQ4 補助損失（SSIM、F-measure）は、共通顕著オブジェクト検出における境界精度をどの程度向上させるか？

主な発見

• CoSformerは、CoCA、CoSOD3k、Cosal2015の3つの主要ベンチマークで最先端の性能を達成し、既存手法を上回る。
• 同じ画像グループに対して10通りのランダムな入力順序を用いても、一貫した性能を維持しており、強い順序不変性を示している。
• TGLモジュールに位置エンコーディングを追加するとモデルが不安定化するため、順序不変性は位置エンコーディングを排除した場合にのみ保持されることが確認された。
• 除去実験では、BCE、SSIM、F-measure損失を併用することで、BCE単体の使用よりも優れた性能が得られた。
• RNNベース（RCAN）およびCNNベース（ICNet）のベースラインと比較して、CoSformerは入力再順序化下でもはるかに安定した推論を示した。
• 対照学習スキームにより、複雑な現実世界のシナリオにおいても真の共通顕著オブジェクトとノイズ要因の分離が効果的に実現されており、性能向上が裏付けられた。