[논문 리뷰] BAANet: Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection

Xiaoxiao Yang, Yeqian Qiang외 3명|arXiv (Cornell University)|2021. 12. 04.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 이중방향 적응형 주의 게이트(BAA-Gate)를 사용하여 다단계 융합 전략을 통해 모odal별 잡음과 교차 모달 특징을 점진적으로 보정하는 새로운 다스펙트럴 보행자 검출 프레임워크인 BAANet을 제안한다. 이 방법은 야간 조건에서 6.98%의 미검출률과 총합 평균 미검출률 7.92%를 기록하며 KAIST 데이터셋에서 최고 성능을 달성했고, 이미지당 0.07초의 높은 추론 속도를 유지한다.

ABSTRACT

Thermal infrared (TIR) image has proven effectiveness in providing temperature cues to the RGB features for multispectral pedestrian detection. Most existing methods directly inject the TIR modality into the RGB-based framework or simply ensemble the results of two modalities. This, however, could lead to inferior detection performance, as the RGB and TIR features generally have modality-specific noise, which might worsen the features along with the propagation of the network. Therefore, this work proposes an effective and efficient cross-modality fusion module called Bi-directional Adaptive Attention Gate (BAA-Gate). Based on the attention mechanism, the BAA-Gate is devised to distill the informative features and recalibrate the representations asymptotically. Concretely, a bi-direction multi-stage fusion strategy is adopted to progressively optimize features of two modalities and retain their specificity during the propagation. Moreover, an adaptive interaction of BAA-Gate is introduced by the illumination-based weighting strategy to adaptively adjust the recalibrating and aggregating strength in the BAA-Gate and enhance the robustness towards illumination changes. Considerable experiments on the challenging KAIST dataset demonstrate the superior performance of our method with satisfactory speed.

연구 동기 및 목표

• 딥 네트워크 전파 중에 RGB 및 열화상 적외선(TIR) 영상에서 발생하는 모달 특화 잡음이 특징 품질을 떨어뜨리는 문제를 해결하기 위해.
• 상호 모달 간 상관관계를 명시적으로 모델링하고 이중방향, 다단계 방식으로 잡음을 억제함으로써 교차 모달 특징 융합을 향상시키기 위해.
• 조명 조건 변화에 대응하기 위해 조도 기반 가중 전략을 사용하여 융합 강도를 적응적으로 조정함으로써 강건성을 향상시키기 위해.
• 다스펙트럴 보행자 검출에서 성능과 추론 속도를 동시에 극대화하여 정확도와 효율성을 균형 있게 유지하기 위해.

제안 방법

• 일단 한 모달리티(예: 저조도 조건에서의 RGB)의 잡음 특징을 억제하고, 개선된 특징을 사용해 다른 모달리티(예: TIR)를 재보정하는 이중방향 적응형 주의 게이트(BAA-Gate)를 제안한다.
• 특징을 여러 네트워크 스테이지에 걸쳐 점진적으로 정제하고 재보정함으로써 모달 특성의 특정성과 분류 능력을 유지하는 다단계 융합 전략을 활용한다.
• BAA-Gate에서 재보정 및 융합 강도를 적응적으로 제어하기 위해 조도 기반 가중 전략을 도입하여 환경 조도 변화에 대한 강건성을 향상시킨다.
• RGB 및 TIR 브랜치 간 특징 대응을 향상시키기 위해 변형 가능 컨볼루션 네트워크(DCN)를 사용해 모달리티 정렬을 수행한다.
• 마지막 융합을 통해 BAA-Gate를 사용한 이중 브랜치 CNN 아키텍처를 활용하며, 단순 연결 또는 조기 융합 대신 표현 품질을 향상시킨다.
• 교차 엔트로피 및 박스 회귀 손실을 사용하여 표준 검출 헤드(Faster R-CNN 등)와 함께 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 이중방향, 다단계 주의 메커니즘이 딥 네트워크 추론 중 RGB 및 TIR 특징에서 모달 특화 잡음을 효과적으로 억제할 수 있는가?
• RQ2 BAA-Gate를 통한 적응형 재보정이 어려운 조명 조건과 가림 상황에서 검출 정확도를 어떻게 향상시키는가?
• RQ3 조도 기반 가중 전략이 다스펙트럴 보행자 검출에서 다양한 환경 조도 변화에 대해 강건성을 얼마나 향상시키는가?
• RQ4 제안된 BAA-Gate는 단순 연결 또는 조기 융합 전략에 비해 더 나은 특징 정렬과 표현 학습을 가능하게 하는가?

주요 결과

• BAANet는 KAIST 데이터셋에서 전체 평균 로그 평균 미검출률 7.92%를 기록하여 모든 기존 최고 성능 방법들을 능가한다.
• 야간 서브셋에서 BAANet는 6.98%의 미검출률을 기록하여 두 번째로 우수한 방법보다 0.88%포인트 높은 성능을 달성했다.
• 원거리 스케일 서브셋에서 BAANet는 51.25%의 미검출률을 기록하여 두 번째로 뛰어난 방법(CIAN)보다 4.57%포인트 높은 성능을 보였다.
• 제거 실험 결과에서 BAA-Gate, 조도 기반 가중 전략, 모달리티 정렬 모두 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록했다.
• BAANet는 이미지당 0.07초의 높은 추론 속도를 유지하여 기존 최고 속도 방법들과 유사한 성능을 보이며 정확도-속도 트레이드오프의 우수성을 입증했다.
• 정성적 결과는 BAANet가 저조도, 소형 스케일, 가림 상황 등 도전적인 상황에서도 잘 일반화되며, 경쟁 모델들보다 더 적은 오류 검출 및 누락 검출을 기록함을 보여준다.