[논문 리뷰] ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection

Jifeng Shen, Yifei Chen외 4명|arXiv (Cornell University)|2023. 08. 15.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

ICA Fusion는 RGB 및 열화상 이미지 간의 전역적이고 상보적인 특징 상호작용을 모델링하여 다스펙트럴 객체 검출을 향상시키기 위해 반복적 특징 융합을 갖춘 이중 교차 어텐션 트랜스포머 프레임워크를 제안한다. 반복 메커니즘을 통해 스택된 트랜스포머 블록 간에 파라미터를 공유함으로써 계산 비용을 줄이고, KAIST, FLIR, VEDAI 데이터셋에서 최신 기술 수준의 mAP 성능을 달성하면서도 이전 방법들보다 빠른 추론 속도를 확보한다.

ABSTRACT

Effective feature fusion of multispectral images plays a crucial role in multi-spectral object detection. Previous studies have demonstrated the effectiveness of feature fusion using convolutional neural networks, but these methods are sensitive to image misalignment due to the inherent deffciency in local-range feature interaction resulting in the performance degradation. To address this issue, a novel feature fusion framework of dual cross-attention transformers is proposed to model global feature interaction and capture complementary information across modalities simultaneously. This framework enhances the discriminability of object features through the query-guided cross-attention mechanism, leading to improved performance. However, stacking multiple transformer blocks for feature enhancement incurs a large number of parameters and high spatial complexity. To handle this, inspired by the human process of reviewing knowledge, an iterative interaction mechanism is proposed to share parameters among block-wise multimodal transformers, reducing model complexity and computation cost. The proposed method is general and effective to be integrated into different detection frameworks and used with different backbones. Experimental results on KAIST, FLIR, and VEDAI datasets show that the proposed method achieves superior performance and faster inference, making it suitable for various practical scenarios. Code will be available at https://github.com/chanchanchan97/ICAFusion.

연구 동기 및 목표

• 다스펙트럴 객체 검출에서 장거리 의존성을 모델링하는 데에 한계가 있는 컨볼루션 네트워크의 문제점을 해결하기 위해.
• 상보적인 RGB 및 열화상 특징에서 분류 능력을 향상시키기 위해 전역적이고 교차 모odal 어텐션을 활용한 특징 융합을 개선하기 위해.
• 파라미터 공유 반복 학습 전략을 도입하여 트랜스포머 기반 융합의 모델 복잡성과 계산 비용을 줄이기 위해.
• 다양한 검출 아키텍처와 호환되는 일반화 가능하고, 백본에 의존하지 않는 프레임워크를 개발하기 위해.
• 다양한 환경 조건에서 다스펙트럴 데이터셋에서 뛰어난 검출 정확도와 추론 속도를 달성하기 위해.

제안 방법

• 한 모odal에서의 쿼리를 계산하고 다른 모달에서 키/밸류를 계산함으로써 이중 교차 어텐션 트랜스포머 모듈을 설계하여 이중 방향성, 쿼리 유도 특징 향상 기능을 구현한다.
• 교차 어텐션 메커니즘은 모달 간의 장거리 공간적 및 채널 별 의존성을 캡처하여 특징의 분류 능력을 향상시킨다.
• 반복적 상호작용 메커니즘은 여러 트랜스포머 블록 간에 가중치를 공유함으로써 파라미터 수와 공간 복잡도를 줄이되 성능 저하 없이 수행한다.
• 기존 객체 검출 모델에 플러그인 융합 모듈로 통합되어 다양한 백본과 검출 헤드와 호환된다.
• 표준 검출 손실을 사용하여 양 모달의 특징 맵을 교차 어텐션 융합 모듈의 입력으로 사용함으로써 엔드 투 엔드로 학습된다.
• 반복적 정밀 조정 과정은 파라미터 공유를 통해 계산 효율성을 유지하면서도 깊이 있는 특징 추상화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지역적 컨볼루션 연산을 초월하여 다스펙트럴 객체 검출의 정확도를 향상시키기 위해 전역적이고 교차 모달 특징 상호작용을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 파라미터 효율적인 반복적 트랜스포머 아키텍처는 다중 모달 융합에서 성능을 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ3 쿼리 유도 교차 어텐션은 RGB 및 열화상 모달의 상보적 정보를 활용하여 특징 표현을 어떻게 향상시키는가?
• RQ4 다양한 데이터셋에서 기존 융합 전략에 비해 제안된 방법이 정확도 및 추론 속도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 실패 사례는 실세계 상황에서 시각적 유사성과 영상 품질과 어떤 관련이 있는가?

주요 결과

• KAIST 데이터셋에서 ICAFusion는 mAP 78.6% 및 mAP75 72.1%를 기록하여 이전 최신 기술 수준의 방법보다 mAP에서 1.9% 향상되었다.
• FLIR 데이터셋에서 이 방법은 mAP 79.2%를 달성하여 이전 최고 성능 방법(CFT)보다 mAP에서 1.0% 향상되었고, mAP50에서는 1.1% 향상되었다.
• VEDAI 데이터셋에서 ICAFusion는 mAP 76.62%를 기록하여 소형 객체 검출 기법을 사용하지 않았음에도 기준 모델보다 mAP에서 1.96% 향상되었다.
• 반복적 파라미터 공유 메커니즘 덕분에 표준 스택드 트랜스포머 융합 대비 파라미터 수와 추론 시간이 감소하였다.
• 정성적 어텐션 맵을 통해 ICAFusion가 기준 방법 대비 관련 객체 영역에 효과적으로 집중하고 잡음 신호를 줄이는 것을 확인할 수 있었다.
• 실패 사례 분석을 통해 유사한 형태나 질감을 가진 객체(예: 교통 표지판을 사람으로 오인, 屋상 장치를 차량으로 오인)를 구분하는 데 어려움을 겪었으며, 주로 시각적 유사성과 낮은 영상 품질 때문이었다.