[論文レビュー] MTFNet: Mutual-Transformer Fusion Network for RGB-D Salient Object Detection.

Xixi Wang, Bo Jiang+2 more|arXiv (Cornell University)|Dec 2, 2021

Visual Attention and Saliency Detection参考文献 48被引用数 6

ひとこと要約

MTFNetは、正確な特徴抽出のためのFocal Feature Extractor（FFE）と、同時的な内モダリティおよび跨モダリティ特徴相互作用を実現するMutual-Transformer Fusion（MTF）モジュールを導入した、新規なRGB-D顕著オブジェクト検出ネットワークである。MTFNetは、共同モダリティ学習を通じて補完的RGBおよび深度情報の有効活用により、6つの公開ベンチマークで最先端の性能を達成している。

ABSTRACT

Salient object detection (SOD) on RGB-D images is an active problem in computer vision. The main challenges for RGB-D SOD problem are how to 1) extract the accurate features for RGB and Depth image data with clutter background or poor image quality and 2) explore the complementary information between RGB and Depth image data. To address these challenges, we propose a novel Mutual-Transformer Fusion Network (MTFNet) for RGB-D SOD. MTFNet contains two main modules, $i.e.$, Focal Feature Extractor (FFE) and Mutual-Transformer Fusion (MTF). FFE aims to extract the more accurate CNN features for RGB and Depth images by introducing a novel pixel-level focal regularization to guide CNN feature extractor. MTF is designed to deeply exploit the multi-modal interaction between RGB and Depth images on both coarse and fine scales. The main benefit of MTF is that it conducts the learning of intra-modality and inter-modality simultaneously and thus can achieve communication across different modalities more directly and sufficiently. Comprehensive experimental results on six public benchmarks demonstrate the superiority of our proposed MTFNet.

研究の動機と目的

• 複雑な背景や低品質な画像下でも、RGBおよび深度画像からの正確な特徴抽出の課題に対処すること。
• RGBおよび深度モダリティ間の補完的情報を活用して顕著オブジェクト検出を向上させること。
• 内モダリティおよび跨モダリティ表現を共同で学習することで、直接的かつ十分な跨モダリティ通信を可能にすること。
• RGBおよび深度データのマルチスケール統合を通じて特徴表現を強化する統合フレームワークの構築。

提案手法

• RGBおよび深度画像の両方のCNNベース特徴抽出をガイドするため、ピクセル単位の焦点正則化を適用するFocal Feature Extractor（FFE）を導入すること。
• 粗いおよび細かい空間スケールにおける内モダリティおよび跨モダリティ特徴の共同学習を実行するMutual-Transformer Fusion（MTF）モジュールを設計すること。
• MTFモジュール内の自己注意メカニズムを通じて、RGBおよび深度ブランチ間の双方向的特徴通信を実現すること。
• マルチスケール特徴統合を用いて、特徴階層のグローバルおよびローカルレベルでの表現学習を強化すること。
• スライス予測性能の最適化を図るため、教師あり損失を用いてネットワークをエンドツーエンドで訓練すること。
• MTFにおける相互注意メカニズムを活用し、モダリティ固有および跨モダリティ依存性に基づいて動的に特徴を重み付け統合すること。

実験結果

リサーチクエスチョン

• RQ1 複雑な背景や低品質な画像下でも、RGBおよび深度画像からの特徴抽出精度をどのように向上させられるか？
• RQ2 内モダリティおよび跨モダリティの共同学習が、RGB-D顕著オブジェクト検出における特徴表現をどの程度向上させるか？
• RQ3 相互変換器アーキテクチャは、複数の空間スケールでRGBおよび深度モダリティ間の補完的情報を効果的に活用できるか？
• RQ4 提案されたMTFNetは、標準的なRGB-D SODベンチマークで既存の最先端手法と比べてどのように差をつけるか？

主な発見

• MTFNetは6つの公開RGB-D顕著オブジェクト検出ベンチマークで最先端の性能を達成している。
• Focal Feature Extractor（FFE）は、CNNベースの特徴学習にピクセル単位の正則化を適用することで、特徴品質を顕著に向上させている。
• Mutual-Transformer Fusion（MTF）モジュールは、従来の統合手法よりもより効果的かつ直接的な跨モダリティ通信を可能にしている。
• MTFにおける内モダリティおよび跨モダリティ特徴の共同学習は、優れた表現学習と検出精度をもたらしている。
• モデルは、画像品質や背景の複雑さが異なる多様なデータセットにおいても強力な汎化性能を示している。
• 包括的なアブレーションスタディにより、FFEおよびMTFコンポーネントの両方が性能向上に有効であることが確認されている。