[論文レビュー] Transformer-based Network for RGB-D Saliency Detection

Yue Wang, Jia Xu+4 more|arXiv (Cornell University)|Dec 1, 2021

Visual Attention and Saliency Detection参考文献 44被引用数 6

ひとこと要約

本稿では、変換器デコーダーのみを用いて、マルチスケール、マルチモーダル特徴の統合とモダリティ内特徴強化を統合する、RGB-D サリエンシー検出のための変換器ベースのネットワークを提案する。自己注意およびクロス注意メカニズムを活用することで、長距離依存関係をグローバルに捉え、6つのベンチマークデータセットで最先端の性能を達成し、簡素で一様なアーキテクチャを実現した。

ABSTRACT

RGB-D saliency detection integrates information from both RGB images and depth maps to improve prediction of salient regions under challenging conditions. The key to RGB-D saliency detection is to fully mine and fuse information at multiple scales across the two modalities. Previous approaches tend to apply the multi-scale and multi-modal fusion separately via local operations, which fails to capture long-range dependencies. Here we propose a transformer-based network to address this issue. Our proposed architecture is composed of two modules: a transformer-based within-modality feature enhancement module (TWFEM) and a transformer-based feature fusion module (TFFM). TFFM conducts a sufficient feature fusion by integrating features from multiple scales and two modalities over all positions simultaneously. TWFEM enhances feature on each scale by selecting and integrating complementary information from other scales within the same modality before TFFM. We show that transformer is a uniform operation which presents great efficacy in both feature fusion and feature enhancement, and simplifies the model design. Extensive experimental results on six benchmark datasets demonstrate that our proposed network performs favorably against state-of-the-art RGB-D saliency detection methods.

研究の動機と目的

• RGB-D サリエンシー検出において、畳み込みニューラルネットワーク（CNN）ベースの手法が局所的受容 field に起因して長距離依存関係をモデル化できないという制限を解決すること。
• 特徴統合と特徴強化を1つの変換器ベースのフレームワークに統合し、モデル設計を単純化すること。
• マルチスケールおよびマルチモーダル特徴のグローバルかつ適応的な統合を可能にすることで、複雑なシーンにおける性能を向上させること。
• 一様な変換器ベースの処理が、複雑なタスク固有のモジュールを必要とせずに、特徴強化と統合の両方を効果的に処理できることを示すこと。

提案手法

• 同じモダリティ内での他のスケールからの補完的情報を自己注意を用いて統合することで、各スケールの特徴を強化する変換器ベースのモダリティ内特徴強化モジュール（TWFEM）を導入する。
• クロス注意を用いて、複数のスケールおよびRGBと深度の両モダリティの特徴を同時に統合する変換器ベースの特徴統合モジュール（TFFM）を採用する。
• TWFEM の出力を初期統合特徴とし、これによりTFFMが各空間位置で最終的な適応的統合特徴を生成する。
• TWFEM および TFFM において、マルチヘッド自己注意およびクロス注意メカニズムを適用し、すべての位置間で長距離依存関係をモデル化する。
• U-Net や再帰的モジュールのような複雑なアーキテクチャを避けるために、ネットワークを変換器デコーダーのみで構築し、アーキテクチャの単純化を図る。
• TWFEM において、粗いスケールから細かいスケールへと段階的に特徴を精錬するプログレッシブ強化戦略を設計し、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統一された変換器ベースのアーキテクチャは、RGB-D サリエンシー検出における複数の専用モジュールに代わって、特徴強化と統合の両方を効果的に処理できるか？
• RQ2 変換器におけるグローバルかつ非局所的注意は、マルチスケール・マルチモーダルなサリエンシー検出において、局所的で段階的な統合よりも顕著に性能を向上させるか？
• RQ3 変換器を用いたプログレッシブなモダリティ内特徴強化は、統合特徴の品質および最終的なサリエンシー予測にどのように影響を与えるか？
• RQ4 最小限の注意機構のみを用いたアーキテクチャは、既存の二ストリーム手法と比較して、より小型のモデルサイズを維持しながらも最先端の性能を達成できるか？

主な発見

• 提案手法は、6つのベンチマークRGB-Dサリエンシー検出データセットで最先端の性能を達成し、既存のSOTA手法を上回った。
• アブレーションスタディの結果、TWFEM および TFFM の両方が性能向上に寄与しており、特にTFFMがグローバルかつ適応的な統合を可能にすることで最大の向上をもたらした。
• TWFEM におけるプログレッシブ強化戦略は、隣接スケールの特徴を直接統合する手法と比較して、さらなる性能向上をもたらした。
• TFFM において T=4 の変換器ブロックを用いることで、性能と効率の最良のトレードオフが得られ、この深さを超えると利得が減少した。
• ほとんどの二ストリーム手法と比較してモデルサイズが小さく、A2dele や DANet といった一ストリーム手法と比較しても、より複雑なバックボーンを用いながらも精度で上回った。
• 定性的な結果から、ごちゃついたシーンや同色の背景でも、正確なサリエンシー物体の局所化と境界検出が可能であることが示された。