[論文レビュー] Does Thermal Really Always Matter for RGB-T Salient Object Detection?

Runmin Cong, Kepu Zhang+5 more|arXiv (Cornell University)|Oct 9, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文では、グローバルな照度推定モジュールを介してシーンの照度に基づいて熱画像モダリティの使用を能動的に制御する、TNetと呼ばれる新しいRGB-T顕著オブジェクト検出ネットワークを提案する。エンコーディング段階でセマンティック制約プロバイダーを、デコーディング段階で2段階の局在化／補完モジュールを採用することで、クロスモダリティ間の相互作用を強化し、3つのベンチマークデータセットで最先端の性能を達成した。VT5000データセットでは最大Fスコア0.895を記録した。

ABSTRACT

In recent years, RGB-T salient object detection (SOD) has attracted continuous attention, which makes it possible to identify salient objects in environments such as low light by introducing thermal image. However, most of the existing RGB-T SOD models focus on how to perform cross-modality feature fusion, ignoring whether thermal image is really always matter in SOD task. Starting from the definition and nature of this task, this paper rethinks the connotation of thermal modality, and proposes a network named TNet to solve the RGB-T SOD task. In this paper, we introduce a global illumination estimation module to predict the global illuminance score of the image, so as to regulate the role played by the two modalities. In addition, considering the role of thermal modality, we set up different cross-modality interaction mechanisms in the encoding phase and the decoding phase. On the one hand, we introduce a semantic constraint provider to enrich the semantics of thermal images in the encoding phase, which makes thermal modality more suitable for the SOD task. On the other hand, we introduce a two-stage localization and complementation module in the decoding phase to transfer object localization cue and internal integrity cue in thermal features to the RGB modality. Extensive experiments on three datasets show that the proposed TNet achieves competitive performance compared with 20 state-of-the-art methods.

研究の動機と目的

• 熱画像が常にRGB-T顕著オブジェクト検出の性能を向上させるかどうかを検証し、熱データが普遍的に有益であるという仮定に疑問を呈すること。
• 深度と熱画像モダリティの物理的・知覚的差異に合致しないまま、RGB-D SOD手法を直接RGB-T SODに適用する既存手法の性能が劣化している問題を解決すること。
• シーンの明るさに応じて熱画像とRGB画像の寄与度を動的に制御するネットワークを設計し、低照度条件下での耐性を高めること。
• エンコーディング段階とデコーディング段階にそれぞれタスク固有のモジュールを導入することで、セマンティックの強化と構造的補完を実現し、クロスモダリティ特徴の相互作用を強化すること。
• 熱モダリティの価値が文脈に依存することを示し、特に熱画像とRGBの顕著性が一致しないシーンでは一様に適用すべきでないことを示すこと。

提案手法

• グローバル照度推定（GIE）モジュールは、RGB画像のグローバル照度スコアを予測し、RGBと熱画像特徴の融合戦略を動的に制御する。
• エンコーディング段階では、ハイレベルなRGB特徴から導出されたセマンティックマスクを注入することで、熱画像特徴を強化するセマンティック制約プロバイダー（SCP）を採用する。これにより、SODに向けた熱画像特徴の関連性が向上する。
• デコーディング段階では、適応的スカイプ接続を介して、熱画像特徴からRGB特徴へ局在化のヒントと構造的整合性を転送する2段階の局在化・補完（LC）モジュールを採用する。
• LCモジュールはまず、熱画像特徴を用いてRGB特徴におけるオブジェクトの局在化をガイドし、次にGIEスコアに基づく重み付き融合機構を用いて、RGB特徴に熱画像の詳細を補完する。
• 適応的スカイプ接続機構は、グローバル照度スコアを用いて注意重みを計算し、固定加算とは異なり、文脈に応じた動的な、文脈に配慮した融合を可能にする。
• TNetの完全なアーキテクチャは、GIE、SCP、LCモジュールを統合したエンド・ツー・エンドで学習可能なフレームワークとして構築され、RGBおよび熱画像特徴の共同学習が可能になった。

実験結果

リサーチクエスチョン

• RQ1 熱モダリティは常にRGB-T顕著オブジェクト検出の性能を向上させるのか、それとも一部の状況では性能を低下させる可能性があるのか？
• RQ2 シーンの照度状態に応じて、熱モダリティの役割をどのように能動的に制御できるか？
• RQ3 RGB-T SODにおけるエンコーディング段階とデコーディング段階で、最も効果的なクロスモダリティ相互作用メカニズムは何か？
• RQ4 熱画像特徴のセマンティック強化と、熱画像からRGBへの構造的補完は、検出精度と完全性の向上に寄与するか？
• RQ5 固定的または直接的な融合戦略と比較して、提案された能動的融合メカニズムは、耐性および性能面で優れているか？

主な発見

• 提案されたTNetは、VT5000データセットで最大Fスコア0.895を達成し、20の最先端手法を上回った。
• アブレーションスタディの結果、局在化ガイドライン段階を削除するとFスコアは0.885に低下し、補完段階を削除すると0.873に低下した。これにより、両段階の重要性が確認された。
• 適応的スカイプ接続を直接加算に置き換えると、Fスコアは0.895から0.882に低下し、MAEは0.033から0.037に上昇した。これにより、適応的融合メカニズムの優位性が示された。
• グローバル照度推定モジュールは、モダリティ間相互作用を効果的に制御しており、これを削除すると性能の低下が観察された。
• 失敗事例から、小さな、低コントラストで細長いオブジェクトの検出に限界があることが判明し、Swin Transformerのような強力な特徴抽出器の導入による改善の余地があることが示唆された。
• 現在のRGB-T SODデータセットは昼間のシーンに偏っているため、低照度・夜間中心のベンチマークの必要性が浮き彫りになった。