[論文レビュー] From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion

X. Rong Li, Yang Zou+5 more|arXiv (Cornell University)|Dec 31, 2023

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本稿では、CLIPで符号化されたテキスト記述を活用して特徴の整合性と物体検出性能を向上させる、テキスト誘導型で文脈に配慮したセマンティックシナジー枠組みを提案する。特徴の離散化にコードブックを統合し、融合と検出を同時に最適化する二段階最適化戦略を採用することで、複数のベンチマークで最先端のmAPを達成した。主な貢献として、新しいペアドIVIF+textデータセットを提供した。

ABSTRACT

With the rapid progression of deep learning technologies, multi-modality image fusion has become increasingly prevalent in object detection tasks. Despite its popularity, the inherent disparities in how different sources depict scene content make fusion a challenging problem. Current fusion methodologies identify shared characteristics between the two modalities and integrate them within this shared domain using either iterative optimization or deep learning architectures, which often neglect the intricate semantic relationships between modalities, resulting in a superficial understanding of inter-modal connections and, consequently, suboptimal fusion outcomes. To address this, we introduce a text-guided multi-modality image fusion method that leverages the high-level semantics from textual descriptions to integrate semantics from infrared and visible images. This method capitalizes on the complementary characteristics of diverse modalities, bolstering both the accuracy and robustness of object detection. The codebook is utilized to enhance a streamlined and concise depiction of the fused intra- and inter-domain dynamics, fine-tuned for optimal performance in detection tasks. We present a bilevel optimization strategy that establishes a nexus between the joint problem of fusion and detection, optimizing both processes concurrently. Furthermore, we introduce the first dataset of paired infrared and visible images accompanied by text prompts, paving the way for future research. Extensive experiments on several datasets demonstrate that our method not only produces visually superior fusion results but also achieves a higher detection mAP over existing methods, achieving state-of-the-art results.

研究の動機と目的

• 赤外線と可視光画像間の深いセマンティック関係をモデル化できない既存のマルチモodal画像融合手法の限界を解決すること。
• テキスト記述からのハイレベルな意味情報を活用して、融合を誘導することで、物体検出の精度を向上させること。
• 画像融合と下流の検出性能の両方を同時に向上させる統合最適化フレームワークを確立すること。
• マルチモーダル融合研究のための、赤外線・可視光画像と対応するテキストプロンプト画像を併せ持つ、最初のペアドデータセットを構築すること。

提案手法

• テキストプロンプトを高次元の意味的埋め込みに変換するCLIPモデルを用い、赤外線と可視光画像間の特徴融合を誘導する。
• 連続的特徴表現の離散化にコードブックを採用し、検出タスクにおける学習効率と一般化性能を向上させる。
• 自己注意機構とクロス注意機構を併用して、モダリティ内およびモダリティ間の特徴学習を強化する。
• 融合と検出の目的関数を同時に最適化する二段階最適化戦略を実装し、エンドツーエンドの性能向上を実現する。
• 入力の忠実度を保つためのコンテンツ一貫性損失と、学習の安定化を目的とした構造損失の2つの損失関数を導入する。
• 赤外線と可視光入力を別々に処理する二重ブランチネットワークアーキテクチャを設計し、テキスト誘導のもとでそれらを統合する。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述は、赤外線・可視光画像融合におけるセマンティック整合性と融合品質を顕著に向上させることができるか？
• RQ2 二段階学習による融合と検出の統合最適化は、逐次的または独立した学習と比較して、下流の検出性能をどのように向上させるか？
• RQ3 クロス注意機構と自己注意機構は、融合プロセスにおける特徴の精錬とモダリティ間相互作用に、どの程度寄与するか？
• RQ4 CLIPベースのテキスト誘導は、顕著で意味的に関連する特徴に焦点を当てるのに、どれほど効果的か？
• RQ5 粗いプロンプトと細かいプロンプトの異なるタイプが、検出精度と融合品質に与える影響は何か？

主な発見

• 提案手法は、M3FDデータセットで最先端のmAP 0.517を達成し、先行手法を上回った。
• アブレーションスタディの結果、自己注意とクロス注意の両方を用いることで、片方のみを用いる場合と比較してmAPが0.099向上した。
• コンテンツ一貫性損失と構造損失の両方を含めることで、いずれの損失も含めない学習と比較してmAPが0.090向上した。
• 微調整済みのテキストプロンプトを用いたモデルは、一部のケースで正解アノテーションよりも、以前にマークされていなかった物体をより正確に検出できた。
• 視覚的結果から、テキストプロンプトが明るさを向上させ、重要な特徴を強調することで、知覚的な融合品質が向上していることが示された。
• 新規に構築されたペアドIVIF+textデータセットにより、テキスト誘導型マルチモーダル融合分野におけるより強固な評価と今後の研究が可能になった。