[論文レビュー] ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection

Jifeng Shen, Yifei Chen+4 more|arXiv (Cornell University)|Aug 15, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

ICA Fusionは、RGBと赤外画像間のグローバルで補完的な特徴相互作用をモデル化することで、マルチスペクトルオブジェクト検出を向上させる、反復的特徴統合を備えた二重クロスアテンショントランスフォーマー枠組みを提案する。スタックされたトランスフォーマーブロック間でパラメータを共有する反復的メカニズムにより、計算コストを低減しながら、KAIST、FLIR、VEDAIデータセットで最先端のmAP性能を達成しており、従来の手法よりも高速な推論を実現している。

ABSTRACT

Effective feature fusion of multispectral images plays a crucial role in multi-spectral object detection. Previous studies have demonstrated the effectiveness of feature fusion using convolutional neural networks, but these methods are sensitive to image misalignment due to the inherent deffciency in local-range feature interaction resulting in the performance degradation. To address this issue, a novel feature fusion framework of dual cross-attention transformers is proposed to model global feature interaction and capture complementary information across modalities simultaneously. This framework enhances the discriminability of object features through the query-guided cross-attention mechanism, leading to improved performance. However, stacking multiple transformer blocks for feature enhancement incurs a large number of parameters and high spatial complexity. To handle this, inspired by the human process of reviewing knowledge, an iterative interaction mechanism is proposed to share parameters among block-wise multimodal transformers, reducing model complexity and computation cost. The proposed method is general and effective to be integrated into different detection frameworks and used with different backbones. Experimental results on KAIST, FLIR, and VEDAI datasets show that the proposed method achieves superior performance and faster inference, making it suitable for various practical scenarios. Code will be available at https://github.com/chanchanchan97/ICAFusion.

研究の動機と目的

• 畳み込みネットワークが長距離依存関係をモデル化する際の限界と、マルチスペクトルオブジェクト検出における画像のずれ処理の課題を解決すること。
• 補完的なRGBおよび赤外特徴から判別性の高い表現を強化するために、グローバルでクロスモーダルアテンションを活用した特徴統合を改善すること。
• パラメータ共有の反復的学習戦略を導入することで、トランスフォーマーに基づく統合におけるモデルの複雑さと計算コストを低減すること。
• さまざまな検出アーキテクチャと互換性がある汎用的でバックボーンに依存しないフレームワークを開発すること。
• 多様な環境条件下でマルチスペクトルデータセットにおいて、優れた検出精度と推論速度を達成すること。

提案手法

• 一つのモダリティからのクエリと、もう一方のモダリティからのキー／バリューを計算する二重クロスアテンショントランスフォーマーモジュールを設計し、双方向でクエリに従った特徴強化を実現する。
• クロスアテンション機構により、モダリティ間で長距離の空間的およびチャネルワイドな依存関係を捉え、特徴の判別性を向上させる。
• 複数のトランスフォーマーブロック間で重みを共有する反復的相互作用メカニズムを導入し、パラメータ数と空間的複雑性を削減しながら、性能の劣化を防ぐ。
• 既存のオブジェクト検出モデルにプラグイン統合モジュールとして統合可能であり、さまざまなバックボーンと検出ヘッドと互換性がある。
• 両モダリティの特徴マップをクロスアテンション統合モジュールの入力として使用し、標準的な検出損失を用いてエンドツーエンドで学習する。
• 反復的精錬プロセスにより、パラメータ共有による計算効率を維持したまま、より深い特徴抽象化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的な畳み込み演算を超えて、マルチスペクトルオブジェクト検出を向上させるために、グローバルでクロスモーダル特徴相互作用をどのように効果的にモデル化できるか？
• RQ2 パラメータ効率の良い反復的トランスフォーマーアーキテクチャは、計算コストを低減しつつ、マルチモーダル統合における性能を維持または向上させられるか？
• RQ3 クエリに従うクロスアテンションは、RGBおよび赤外モダリティからの補完的情報を活用することで、どのように特徴表現を向上させるか？
• RQ4 提案手法は、多様なデータセットにおいて、既存の統合戦略と比較して、精度と推論速度の両面でどの程度優れているか？
• RQ5 失敗モードは、現実世界のシナリオにおける視覚的類似性や画像品質とどのように関連しているか？

主な発見

• KAISTデータセットでは、ICA FusionはmAP 78.6%、mAP75 72.1%を達成し、以前の最先端手法よりもmAPで1.9%優れていた。
• FLIRデータセットでは、mAP 79.2%を達成し、以前の最良手法（CFT）よりもmAPで1.0%、mAP50で1.1%優れていた。
• VEDAIデータセットでは、mAP 76.62%を達成し、小オブジェクト検出テクニックを用いていなくても、ベースラインよりmAPで1.96%優れていた。
• 反復的パラメータ共有メカニズムのおかげで、標準的なスタックドトランスフォーマー統合と比較して、パラメータ数と推論時間を削減した。
• 定量的アテンションマップでは、ICA Fusionが関連するオブジェクト領域に効果的に注目し、ベースライン手法と比較して誤検出を低減していることが示された。
• 失敗事例では、形状やテクスチャが類似した物体（例：交通標識を人間と誤認、屋上デバイスを車と誤認）を区別できない課題が明らかになった。主な要因は視覚的類似性と低品質な画像であった。