[논문 리뷰] Cross-Modality Attentive Feature Fusion for Object Detection in Multispectral Remote Sensing Imagery

Qingyun Fang, Zhaokui Wang|arXiv (Cornell University)|2021. 12. 06.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 RGB 및 열화상 이미지에 대해 공통 모odal attention(특징 선택)과 차별성 모달 attention(특징 향상)을 동시에 적용하는 경량 모듈인 Cross-Modality Attentive Feature Fusion(CMAFF)을 제안한다. 이는 다중스펙트럼 물체 검출을 향상시킨다. VEDAI 데이터셋에서 기존의 다중 모달 방법보다 mAP0.5:0.95가 4.52% 향상되었으며, 추가 파rameter는 0.55M, 추론 시간은 0.1ms 뿐이다.

ABSTRACT

Cross-modality fusing complementary information of multispectral remote sensing image pairs can improve the perception ability of detection algorithms, making them more robust and reliable for a wider range of applications, such as nighttime detection. Compared with prior methods, we think different features should be processed specifically, the modality-specific features should be retained and enhanced, while the modality-shared features should be cherry-picked from the RGB and thermal IR modalities. Following this idea, a novel and lightweight multispectral feature fusion approach with joint common-modality and differential-modality attentions are proposed, named Cross-Modality Attentive Feature Fusion (CMAFF). Given the intermediate feature maps of RGB and IR images, our module parallel infers attention maps from two separate modalities, common- and differential-modality, then the attention maps are multiplied to the input feature map respectively for adaptive feature enhancement or selection. Extensive experiments demonstrate that our proposed approach can achieve the state-of-the-art performance at a low computation cost.

연구 동기 및 목표

• 다중스펙트럼 위성 이미지(_RGB 및 열화상_IR_)에서 상보적인 특징을 융합하여 물체 검출 성능을 향상시키는 도전 과제를 해결하기 위해.
• 기존 융합 방법이 간단한 연산(예: 연결 또는 요소별 덧셈)을 사용하여 모달 특이적 및 공유 특징을 효과적으로 활용하지 못하는 한계를 극복하기 위해.
• 모달 특이적 특징을 강화하면서도 공유 특징를 선택적으로 융합하는 경량이고 효율적인 융합 메커니즘을 설계하기 위해.
• 실제 데이터셋에서 광범위한 추론 분석과 비교를 통해 제안된 CMAFF 모듈의 효과성을 검증하기 위해.
• CMAFF를 통합한 강력한 다중스펙트럼 물체 검출을 위한 이중 스트림 YOLO 기반 검출기인 YOLOFusion을 개발하기 위해.

제안 방법

• CMAFF는 두 개의 병렬 서브 모듈을 사용한다: 모달 공유 특징 선택을 위한 공통 선택 모듈과 모달 특이적 특징 향상을 위한 차별성 향상 모듈.
• 공통 선택 모듈은 글로벌 평균 풀링과 글로벌 최대 풀링을 사용하여 양 모달 간 공유 특징을 강조하는 주의 맵을 생성한다.
• 차별성 향상 모듈은 학습 가능한 주의 맵을 각 스트림 내에서 독립적으로 적용하여 모달 특이적 특징을 강화한다.
• 두 모듈의 주의 맵은 요소별 곱셈을 통해 입력 특징 맵에 적용되어 적응형 특징 선택 및 향상이 가능하다.
• 두 서브 모듈은 병렬로 배치되어 계산 복잡도를 증가시키지 않으면서도 공동 최적화와 더 나은 표현 학습을 가능하게 한다.
• CMAFF 모듈은 각 스트림이 RGB 및 IR 입력을 별도로 처리한 후 융합하는 이중 스트림 YOLOFusion 네트워크에 통합된다.

실험 결과

연구 질문

• RQ1 공통 모달 주의와 차별성 모달 주의를 동시에 적용하면 다중스펙트럼 물체 검출의 특징 융합 성능이 향상되는가?
• RQ2 전통적인 융합 방법(예: 연결 또는 요소별 덧셈)과 비교해 CMAFF는 검출 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 CMAFF의 두 주의 서브 모듈에 대해 병렬 대비 순차적 구성 중 최적의 아키텍처 구성은 무엇인가?
• RQ4 CMAFF와 같은 경량 융합 모듈이 모델 파라미터나 추론 시간을 크게 증가시키지 않으면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 YOLOFusion 네트워크는 기존의 단일 및 다중 모달 검출기보다 다중스펙트럼 위성 기반 벤치마크에서 성능이 뛰어나지 않는가?

주요 결과

• CMAFF를 통합한 YOLOFusion은 VEDAI 데이터셋에서 mAP0.5:0.95가 0.4914를 기록하여 이전 최고의 다중 모달 방법(YOLOv3, 중간 수준 융합)보다 4.52% 향상되었다.
• 모델은 mAP0.5가 0.786을 기록하여 동일한 지표에서 최고의 단일 모달 YOLO-fine보다 2.86% 높았다.
• 성능 향상에도 불구하고 CMAFF는 추가로 0.55M의 파라미터와 0.1ms의 추론 시간만을 추가했으며, 모듈당 평균 0.183M의 파라미터를 차지한다.
• 추론 분석 결과, 공통 선택 모듈과 차별성 향상 모듈 모두 성능 향상에 기여하며, 병렬 구성이 순차적 구성보다 성능이 뛰어나다는 것이 확인되었다.
• 시각화 결과는 CMAFF가 객체의 윤곽이나 열화상 신호와 같은 관련 특징을 효과적으로 강조하면서 잡음과 관련 없는 세부 정보는 억제함을 보여주었다.
• CMAFF 모듈은 모듈식이며, 계산 오버헤드를 최소화하면서도 어떤 이중 스트림 CNN 기반 물체 검출 프레임워크에도 쉽게 통합할 수 있다.