[論文レビュー] M$^3$Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection

Yuan Yao, Pan Gao+1 more|arXiv (Cornell University)|Sep 15, 2023

Visual Attention and Saliency Detection被引用数 11

ひとこと要約

M3 Net を導入し、マルチレベル相互作用ブロックと混合アテンションブロックをマルチステージデコーダに組み込み、顕著な物体検出を向上させ、6つのデータセットで最先端の成果を達成する。

ABSTRACT

Most existing salient object detection methods mostly use U-Net or feature pyramid structure, which simply aggregates feature maps of different scales, ignoring the uniqueness and interdependence of them and their respective contributions to the final prediction. To overcome these, we propose the M$^3$Net, i.e., the Multilevel, Mixed and Multistage attention network for Salient Object Detection (SOD). Firstly, we propose Multiscale Interaction Block which innovatively introduces the cross-attention approach to achieve the interaction between multilevel features, allowing high-level features to guide low-level feature learning and thus enhancing salient regions. Secondly, considering the fact that previous Transformer based SOD methods locate salient regions only using global self-attention while inevitably overlooking the details of complex objects, we propose the Mixed Attention Block. This block combines global self-attention and window self-attention, aiming at modeling context at both global and local levels to further improve the accuracy of the prediction map. Finally, we proposed a multilevel supervision strategy to optimize the aggregated feature stage-by-stage. Experiments on six challenging datasets demonstrate that the proposed M$^3$Net surpasses recent CNN and Transformer-based SOD arts in terms of four metrics. Codes are available at https://github.com/I2-Multimedia-Lab/M3Net.

研究の動機と目的

• マルチレベル特徴が単純な集約を超えて顕著性予測に寄与する方法を再考する。
• 高レベルの特徴量が低レベルの学習を導くよう、レベル間の相互作用を可能にする機構を提案する。
• グローバル注意とウィンドウベース注意を組み合わせることで、TransformerベースのSODにおける局所的なディテールの喪失に対処する。
• マルチレベル監督を用いて、サリエンシー マップを段階的に洗練させるデコーダを開発する。

提案手法

• 低レベル特徴と高レベル特徴間のクロスアテンションを有効にする Multilevel Interaction Block (MIB) を導入し、高レベルの手がかりが低レベルの洗練を導くようにする。
• グローバル自己注意とウィンドウベース自己注意を融合し、グローバルおよび局所の文脈モデリングのための Mixed Attention Block (MAB) を導入する。
• 畳み込み演算を用いずに特徴を逐次統合するマルチステージデコーダを採用し、fold-overlap を用いたトークンベースのアップサンプリング (RT2T) を使用する。
• 各デコーダ段階でマルチレベル監督を適用し、中間予測を最適化する。
• Swin Transformerベースのエンコーダを訓練し（バックボーンは置換可能）、クロススケールアテンションを備えたU字型マルチスケールデコーダを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチレベル特徴を対話的に活用して顕著性予測を改善するにはどうすればよいか？
• RQ2 グローバル注意と局所注意の組み合わせはSODにおける細かな物体ディテールを保持できるか？
• RQ3 従来のデコーダと比較して、マルチステージで段階的に監督されたデコーダは顕著性マップの品質を改善しますか？

主な発見

• M3 Net は、六つの難易度の高いデータセットで、四つの指標にわたり、最近のCNNおよびTransformerベースのSOD手法を上回る。
• Multilevel Interaction Block は、高レベル特徴が低レベル特徴を導くことを可能にすることで、顕著領域を効果的に強化する。
• Mixed Attention Block は、グローバルな文脈と局所的なディテールの両方をモデル化し、予測精度とディテールの保持を改善する。
• マルチレベル監督を備えたマルチステージデコーダは、低レベル特徴に存在する非顕著情報を緩和しつつ、正確な顕著性マップを生み出す。