[論文レビュー] Multi-interactive Siamese Decoder for RGBT Salient Object Detection

Zhengzheng Tu, Zhun Li+3 more|arXiv (Cornell University)|May 5, 2020

Visual Attention and Saliency Detection参考文献 48被引用数 5

ひとこと要約

本論文は、マルチレベルのモダリティ間相互作用とグローバルコンテキストをモデル化することで特徴の学習を向上させる、RGBT顕著オブジェクト検出のためのマルチインタラクティブシameseデコーダーを提案する。ラベルの監視を活用し、無効なモダリティに対しても頑健に対処することで、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

RGBT salient object detection (SOD) aims to segment the common prominent regions of visible and thermal infrared images. Existing RGBT SOD methods don't fully explore and exploit the potentials of complementarity of different modalities and the global context of image contents, which play a vital role in achieving accurate results. In this paper, we propose a multi-interactive Siamese decoder to mine and model the multi-type interactions for accurate RGBT SOD. In specific, we first encode RGB and thermal image pair into multi-level multi-modal representation. Then, we design a novel Siamese decoder to integrate the multi-level interactions of dual modalities and global contexts. With these interactions, our method works well in diversely challenging scenarios even in the presence of invalid modality. Moreover, the Siamese decoder employs label supervision to drive feature learning in each modality and the modality prejudice is thus suppressed. Finally, we carry out extensive experiments on several benchmark datasets, and the results show that the proposed method achieves the outstanding performance against state-of-the-art algorithms. The source code has released at: this https URL

研究の動機と目的

• 既存のRGBT SOD手法におけるモダリティ補完性とグローバルコンテキストの活用が限定的であるという問題に対処すること。
• 無効または劣化したモダリティを含む多様で困難な状況下でも精度を向上させること。
• シameseデコーダー構造においてラベルの監視を用いてモダリティバイアスを低減すること。
• 可視画像と赤外画像の特徴間の複数レベルの相互作用を統合するデコーダーを設計すること。

提案手法

• 共有バックボーンを用いてRGB画像と赤外画像のペアを、複数レベルのマルチモーダル表現にエンコードする。
• 2つのモダリティ間で複数の特徴レベルにわたる複数タイプの相互作用をモデル化する、新しいシameseデコーダーを設計する。
• 特徴空間における長距離依存性を強化するために、グローバルコンテキストモデリングを組み込む。
• 各モダリティブランチに対して独立してラベルの監視を適用し、モダリティ固有のバイアスを低減する。
• クロスアテンションと特徴の連結メカニズムを用いて、複数レベルの相互作用を学習する。
• 顕著度予測を最適化するために、統合損失関数を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 可視画像と赤外モダリティ間のマルチレベル相互作用を効果的にモデル化することで、顕著度検出をどのように向上させられるか？
• RQ2 困難な条件下でも、グローバルコンテキストモデリングはRGBT SODの性能にどの程度寄与するか？
• RQ3 シameseデコーダーにおけるラベル監視は、モダリティバイアスを低減し、耐性を向上させることができるか？
• RQ4 1つのモダリティが欠落している、または劣化している場合、提案手法はどのように動作するか？
• RQ5 異なるタイプの相互作用（例：クロスモダリティ、グローバルコンテキスト）が最終的な検出精度にどの程度寄与しているか？

主な発見

• 提案手法は、RGBT顕著オブジェクト検出の複数のベンチマークデータセットで最先端の性能を達成した。
• 1つのモダリティが無効または劣化していても、高い精度を維持する強力な耐性を示した。
• 複数レベルのモダリティ相互作用とグローバルコンテキストの統合により、ベースライン手法と比較して顕著な性能向上が達成された。
• シameseデコーダーにおけるラベル監視は、モダリティ固有のバイアスを効果的に低減し、一般化性能を向上させた。
• 広範なアブレーションスタディにより、特にマルチインタラクティブデコーダー設計の有効性が確認された。
• ソースコードが公開されており、再現性と分野内のさらなる研究を可能にした。