[論文レビュー] Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection

Runmin Cong, Hongyu Liu+5 more|arXiv (Cornell University)|Aug 17, 2023

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

本論文は、点に注意を向けたクロスモダリティ相互作用（CmPI）を統合し、特徴統合を強化するとともに、Transformer由来の詳細損失を軽減するためのCNN誘導型リファインメント（CNNR）ユニットを備えた、RGB-D顕著オブジェクト検出のためのCNN支援型Transformerアーキテクチャ、PICR-Netを提案する。本手法は、5つのベンチマークデータセットで最先端の性能を達成し、効果的なグローバルモデリングとローカル詳細回復を通じて、優れた精度と境界保持性を示している。

ABSTRACT

By integrating complementary information from RGB image and depth map, the ability of salient object detection (SOD) for complex and challenging scenes can be improved. In recent years, the important role of Convolutional Neural Networks (CNNs) in feature extraction and cross-modality interaction has been fully explored, but it is still insufficient in modeling global long-range dependencies of self-modality and cross-modality. To this end, we introduce CNNs-assisted Transformer architecture and propose a novel RGB-D SOD network with Point-aware Interaction and CNN-induced Refinement (PICR-Net). On the one hand, considering the prior correlation between RGB modality and depth modality, an attention-triggered cross-modality point-aware interaction (CmPI) module is designed to explore the feature interaction of different modalities with positional constraints. On the other hand, in order to alleviate the block effect and detail destruction problems brought by the Transformer naturally, we design a CNN-induced refinement (CNNR) unit for content refinement and supplementation. Extensive experiments on five RGB-D SOD datasets show that the proposed network achieves competitive results in both quantitative and qualitative comparisons.

研究の動機と目的

• 従来のRGB-D SOD手法が長距離依存関係をモデル化する点と、細粒度の詳細を保持する点で抱える限界に対処すること。
• RGBと深度モダリティ間の空間的およびグローバル顕著性の事前知識を活用することで、クロスモダリティ特徴相互作用を改善すること。
• Transformerの自己注意機構によって一般的に生じるブロック効果と詳細の劣化を軽減すること。
• プラグ可能なリファインメントモジュールを通じて、Transformerのグローバルモデリング能力とCNNのローカル認識能力を統合すること。
• 新しいアーキテクチャ設計により、複数のRGB-D SODベンチマークで最先端の性能を達成すること。

提案手法

• 空間的制約とグローバルガイドベクトルを用いて、RGBと深度ブランチ間の特徴相互作用を強化する点に注意を向けたクロスモダリティ相互作用（CmPI）モジュールを提案する。
• CmPIにおける2段階の注意機構を導入：第一に、グローバル・ローカルガイドを備えたモダリティ固有の自己注意；第二に、マスク抑制を用いたクロスモダリティ注意。
• グローバル平均プーリングから得られるグローバルガイドベクトル $g_r$ と $g_d$ を用いて、注意計算に事前知識を提供する。
• 最終的な顕著マップのリファインメントに軽量畳み込みを適用する、プラグ可能なCNN誘導型リファインメント（CNNR）ユニットを設計する。
• グローバルコンテキストモデリングにTransformerベースのエンコーダ・デコーダバックボーンを用い、CNNRユニットを最終デコード段階に適用することでローカル構造を保持する。
• 適応的受容野を備えたウィンドウベースの注意機構を採用し、点に注意を向けた（1×1）相互作用が、より大きなウィンドウ（3×3、5×5）よりも効率的かつ性能に優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 空間的およびグローバル顕著性の事前知識を組み込む点に注意を向けたクロスモダリティ相互作用機構は、RGBと深度モダリティ間の特徴統合を向上させることができるか？
• RQ2 Transformerデコーダの後にCNNベースのリファインメントモジュールを統合することで、自己注意処理中に失われた細粒度の詳細が効果的に回復されるか？
• RQ3 CmPIモジュールは、標準的なクロスアテンション機構と比較して、精度および誤検出に対するロバスト性において優れているか？
• RQ4 CNNRユニットは、ブロック効果をどの程度軽減し、境界局所化をどの程度向上させるか？
• RQ5 ハイブリッドCNN-Transformerアーキテクチャは、純粋なCNN、純粋なTransformer、および他のハイブリッドモデルと比較して、標準的なRGB-D SODベンチマークで優れた性能を示すか？

主な発見

• 完全なPICR-Netモデルは、5つのRGB-D SODベンチマークで最先端の性能を達成し、NJU-Depth-2Kでは平均Fスコアが0.931、NLPR-Testでは0.928を記録した。
• アブレーションスタディの結果、CmPIモジュール全体を削除した場合（w/o RM）は、NJU-Depth-2KにおけるMAEが0.029から0.035に顕著に上昇した。
• CmPIにおける2段階の注意機構は不可欠である：第二段階の注意を削除した場合（w/ single-step）は、NJU-Depth-2KにおけるFスコアが0.931から0.930に低下した。
• CmPIにおけるマスク制約 $M_1$ と $M_2$ は不可欠である。これらを削除した場合（w/o $M_1\&M_2$）は、NJU-Depth-2KにおけるFスコアが0.923に低下した。
• CmPIモジュールを $1\times1$ 畳み込みに置き換えた場合（id 15）は、すべての指標で性能が悪化し、CmPIが単純なポイントワイズ演算よりもより効果的な相互作用を可能にしていることが証明された。
• より大きな注意ウィンドウ（Win_3, Win_5）を用いることは性能向上に寄与せず、計算コストを増加させることが示された。これは、このタスクにおいて点に注意を向けた（1×1）相互作用が最適であることを示している。