[論文レビュー] CAVER: Cross-Modal View-Mixed Transformer for Bi-Modal Salient Object Detection

Youwei Pang, Xiaoqi Zhao+2 more|arXiv (Cornell University)|Dec 4, 2021

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

CAVERは、RGB-DおよびRGB-Tの二モード顕著対象検出（SOD）を対象として、視覚的混合注意（VMA）を用いたトップダウン型トランスフォーマーに基づく情報伝達経路を提案する。これにより、グローバルな文脈モデリングとクロスモーダル整合性が向上する。パッチ単位のトークン再埋め込み（PTRE）と並列チャネル注意ブランチを導入することで、計算コストを低減しつつ性能を向上させ、複数のベンチマークで最先端の手法を上回る性能を達成している。

ABSTRACT

Most of the existing bi-modal (RGB-D and RGB-T) salient object detection methods utilize the convolution operation and construct complex interweave fusion structures to achieve cross-modal information integration. The inherent local connectivity of the convolution operation constrains the performance of the convolution-based methods to a ceiling. In this work, we rethink these tasks from the perspective of global information alignment and transformation. Specifically, the proposed \underline{c}ross-mod\underline{a}l \underline{v}iew-mixed transform\underline{er} (CAVER) cascades several cross-modal integration units to construct a top-down transformer-based information propagation path. CAVER treats the multi-scale and multi-modal feature integration as a sequence-to-sequence context propagation and update process built on a novel view-mixed attention mechanism. Besides, considering the quadratic complexity w.r.t. the number of input tokens, we design a parameter-free patch-wise token re-embedding strategy to simplify operations. Extensive experimental results on RGB-D and RGB-T SOD datasets demonstrate that such a simple two-stream encoder-decoder framework can surpass recent state-of-the-art methods when it is equipped with the proposed components. Code and pretrained models will be available at \href{https://github.com/lartpang/CAVER}{the link}.

研究の動機と目的

• 局所的なインダクティブバイアスによる畳み込みベースのモデルの性能の上限を解消すること。
• トランスフォーマーを用いたマルチスケール・マルチモーダル特徴のグローバルかつシーケンス・ツー・シーケンスのモデリングを検討すること。
• 高解像度特徴マップにおける自己注意およびクロス注意の2次関数的計算量を低減すること。
• ハイブリッド注意と畳み込み型フィードフォワードネットワークの設計により、グローバル文脈とローカルディテールの両方の認識を向上させること。
• 空間的およびチャネルワイドの依存関係を同時にモデル化することで、クロスモーダル特徴の整合性と統合を向上させること。

提案手法

• CAVERは、クロスモーダル特徴統合のためのトップダウン型トランスフォーマーに基づく情報伝達経路を有する二ストリームエンコーダ・デコーダアーキテクチャを採用する。
• 空間的およびチャネルワイドの注意を組み合わせることで、複数モード間のグローバルな依存関係をモデル化する、新規の視覚的混合注意（VMA）機構を導入する。
• 注意ブロック内の各行列乗算の前にパッチ単位のトークン再埋め込み（PTRE）を適用し、ピクセル単位のトークンをパッチ単位のトークンに集約することで、計算量とメモリ使用量を削減する。
• VMAブロックには、チャネル間の関係をモデル化することで特徴表現を強化する並列チャネル注意ブランチを含む。
• 注意処理の後に畳み込み型フィードフォワードネットワーク（FFN）を適用し、ローカルディテールの認識と特徴の精錬を向上させる。
• 標準的なSOD損失関数を用いて、RGB-DおよびRGB-Tデータセット上でエンドツーエンドに訓練され、高解像度特徴処理に適した軽量設計が採用されている。

実験結果

リサーチクエスチョン

• RQ1 グローバルかつシーケンス・ツー・シーケンスのモデリングを有するトランスフォーマー型アーキテクチャは、畳み込みベースの手法を上回る性能を示せるか？
• RQ2 高解像度・マルチスケール特徴において、性能を損なわず自己注意およびクロス注意の2次関数的計算量をどのように低減できるか？
• RQ3 クロスモーダル特徴統合において、空間的およびチャネルワイドの文脈を同時にモデル化することは、SODにどのような影響を与えるか？
• RQ4 PTREのようなパラメータフリーな演算は、計算コストを効果的に低減しつつ、精度を維持または向上させることができるか？
• RQ5 グローバル文脈とローカルディテールの認識を統合することで、複雑なシーンにおける検出性能にどのような影響を与えるか？

主な発見

• CAVERは、複数のRGB-DおよびRGB-T顕著対象検出ベンチマークで最先端の性能を達成し、最近のSOTA手法を上回っている。
• アブレーションスタディの結果、浅い層から深い層までクロスモーダル統合ユニット（CMIU）を削除すると性能が一貫して低下することが確認され、その重要性が裏付けられた。
• PTREのパッチサイズを8×8に設定した場合が、精度と計算コストのバランスにおいて最良の妥協点を示し、より小さいまたはより大きな設定を上回った。
• PTREとVMAを備えたモデルは、注意マップのサイズを1×1にまで縮小しても競争力ある性能を示しており、チャネル・ビューコンponentの有効性が裏付けられた。
• 可視化結果から、注意マップが強いグローバル依存関係のパターンを学習し、複数モード間で特徴の識別性が向上していることが示された。
• 失敗事例の分析から、対象の曖昧さ、アノテーションの不一致、複雑なシーンの処理における課題が明らかになり、今後の改善分野が示された。