[論文レビュー] Cross-Modality Fusion Transformer for Multispectral Object Detection

Qingyun Fang, Han Da-peng+1 more|arXiv (Cornell University)|Oct 30, 2021

Remote-Sensing Image Classification被引用数 14

ひとこと要約

本稿では、マルチスペクトルオブジェクト検出のための、自己注意メカニズムを活用して、RGBと赤外の両モダリティ間の特徴表現を統合的に学習する新規な二ストリームバックボーン、クロスモダリティフュージョントランスフォーマー（CFT）を提案する。グローバルな文脈情報と長距離依存関係を統合することで、CFTはFLIR、LLVIP、VEDAIデータセットで最先端の性能を達成し、それぞれmAP50スコアが78.5、97.5、85.3を記録した。

ABSTRACT

Multispectral image pairs can provide the combined information, making object detection applications more reliable and robust in the open world. To fully exploit the different modalities, we present a simple yet effective cross-modality feature fusion approach, named Cross-Modality Fusion Transformer (CFT) in this paper. Unlike prior CNNs-based works, guided by the transformer scheme, our network learns long-range dependencies and integrates global contextual information in the feature extraction stage. More importantly, by leveraging the self attention of the transformer, the network can naturally carry out simultaneous intra-modality and inter-modality fusion, and robustly capture the latent interactions between RGB and Thermal domains, thereby significantly improving the performance of multispectral object detection. Extensive experiments and ablation studies on multiple datasets demonstrate that our approach is effective and achieves state-of-the-art detection performance. Our code and models are available at https://github.com/DocF/multispectral-object-detection.

研究の動機と目的

• マルチスペクトルオブジェクト検出において、RGBと赤外の補完的特徴を効果的に統合する課題に対処すること。
• 長距離依存関係とグローバルな文脈を捉えるのに限界がある畳み込みニューラルネットワーク（CNN）ベースの統合手法の課題を克服すること。
• トランスフォーマーの潜在的利点を、オブジェクト検出におけるクロスモダリティ特徴統合に活用すること。
• 同時に内部モダリティおよび相互モダリティ特徴統合を実現するシンプルで効果的な統合モジュールを設計すること。

提案手法

• CFTモジュールを二ストリームネットワークのバックボーンに埋め込むことで、RGBと赤外の両ブランチ間で統合的特徴学習を可能にする。
• トランスフォーマー内の自己注意メカニズムにより、グローバルな受容 field を実現し、特徴マップ全体の長距離依存関係を捉える。
• CFTモジュールは、両モダリティからのクエリ、キー、バリュー特徴間のクロスアテンションを計算することで特徴統合を実行する。
• 共有された注意メカニズムを通じて、内部モダリティおよび相互モダリティ表現を統合し、特徴表現を強化する。
• CFTはバックボーンネットワークの複数の段階にわたって密に適用され、段階的に特徴を精錬する。
• 本手法は、YOLOv5などの一段階検出器とFaster R-CNNなどの二段階検出器の両方と互換性があり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーの自己注意メカニズムは、オブジェクト検出のためのマルチスペクトル特徴マップにおいて、長距離依存関係を効果的に捉えることができるか？
• RQ2 統一フレームワーク内で、内部モダリティおよび相互モダリティ特徴統合を同時に達成する方法は何か？
• RQ3 トランスフォーマーを用いてグローバルな文脈情報を統合することで、マルチスペクトル環境下での検出精度が向上するか？
• RQ4 トランスフォーマーに基づく統合モジュールは、既存のCNNベースの統合手法を上回る性能を示せるか？

主な発見

• CFTモジュールは、FLIRデータセットでmAP50が78.5を達成し、前回の最良手法より6.3ポイント高い。
• LLVIPデータセットでは、CFTモデルがmAP50 97.5とmAP 63.6を達成し、ベースラインよりそれぞれ9.3%および10.0%の向上を示した。
• VEDAI空中マルチスペクトルデータセットでは、CFTモデルがmAP50 85.3とmAP 56.0を達成し、最良のモノモダリティネットワークよりmAP50で9.3%の向上を達成した。
• アブレーションスタディの結果、CFTモジュールが内部モダリティおよび相互モダリティ特徴を同時にモデル化できる能力が、性能向上の鍵であることが確認された。
• YOLOv5、YOLOv3、Faster R-CNNなど、異なる検出器アーキテクチャにおいても本手法は有効であり、優れた一般化性能を示した。
• 可視化結果から、CFTは特に低照度や遮蔽状況下で特徴の識別性と空間的一致性を向上させていることがわかった。