[논문 리뷰] Multimodal Object Detection via Probabilistic Ensembling

Yi-Ting Chen, Jinghao Shi외 4명|arXiv (Cornell University)|2021. 04. 07.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 RGB 및 열화상 카메라를 사용한 다중모odal 객체 검출을 위한 비학습형 확률적 앙상블 방법인 ProbEn을 제안한다. 베이즈 정리와 조건부 독립성 가정 하에 유도된 ProbEn은 단일 모odal 검출기에서 유도된 검출 결과를 융합하면서도, 누락된 모달리티를 확률적 마진화를 통해 처리함으로써, 정렬된(KAIST) 및 정렬되지 않은(FLIR) 벤치마크에서 각각 13% 이상의 상대적 성능 향상을 달성한다.

ABSTRACT

Object detection with multimodal inputs can improve many safety-critical systems such as autonomous vehicles (AVs). Motivated by AVs that operate in both day and night, we study multimodal object detection with RGB and thermal cameras, since the latter provides much stronger object signatures under poor illumination. We explore strategies for fusing information from different modalities. Our key contribution is a probabilistic ensembling technique, ProbEn, a simple non-learned method that fuses together detections from multi-modalities. We derive ProbEn from Bayes' rule and first principles that assume conditional independence across modalities. Through probabilistic marginalization, ProbEn elegantly handles missing modalities when detectors do not fire on the same object. Importantly, ProbEn also notably improves multimodal detection even when the conditional independence assumption does not hold, e.g., fusing outputs from other fusion methods (both off-the-shelf and trained in-house). We validate ProbEn on two benchmarks containing both aligned (KAIST) and unaligned (FLIR) multimodal images, showing that ProbEn outperforms prior work by more than 13% in relative performance!

연구 동기 및 목표

• 어두운 조명 조건에서 RGB 및 열화상 카메라의 다중모달 객체 검출 출력을 융합하는 과제를 해결한다.
• 누락된 검출을 처리하지 못하거나 복잡한 학습된 아키텍처에 의존하는 기존 융합 방법의 한계를 극복한다.
• 대규모 데이터셋에서 훈련된 고도로 최적화된 단일 모달 검출기를 활용하는 단순한 비학습 융합 전략을 개발한다.
• 공간적 및 시간적 정렬이 어려운 FLIR과 같은 정렬되지 않은 RGB-열화상 데이터셋에서 효과적인 융합을 가능하게 한다.
• 확률적 앙상블이 실세계 벤치마크에서 종래의 엔드 투 엔드 융합 모델과 최고 성능 기록을 달성한 방법들을 능가할 수 있음을 입증한다.

제안 방법

• 진짜 객체 레이블이 주어진 조건에서 모달리티 간의 조건부 독립성을 가정하여 베이즈 정리로부터 ProbEn을 유도한다.
• 누락된 검출을 처리하기 위해 확률적 마진화를 사용하여, 검출기가 동시에 작동하지 않을 경우에도 견고한 융합을 가능하게 한다.
• 유도된 확률 모델을 사용해 RGB 및 열화상 검출기의 검출 점수를 융합함으로써 겹치는 검출에 대해 신뢰도를 향상시킨다.
• 경계 상자 융합을 위해 동일한 확률 프레임워크를 경계 상자 좌표 및 IoU 추정에 적용한다.
• 오프더쇼프 및 자체 훈련된 검출기의 출력에 ProbEn을 적용하며, 이는 초기 융합 및 중간 융합 네트워크에서 유도된 검출기에도 적용 가능하다.
• 비최대 억제(NMS)를 기준 융합 전략으로 사용하고, ProbEn이 낮은 점수의 검출을 기각하는 대신 양 모달리티의 증거를 유지함으로써 NMS를 초월함을 보여준다.

실험 결과

연구 질문

• RQ1 비학습형이며 확률적 근거를 가진 융합 방법이 다중모달 객체 검출에서 학습된 융합 아키텍처를 능가할 수 있는가?
• RQ2 한 모달리티(예: 야간 시점의 RGB)가 객체를 검출하지 못할 경우, 확률적 앙상블은 누락된 검출을 얼마나 잘 처리하는가?
• RQ3 조건부 독립성 가정이 위반될 경우에도 ProbEn은 다른 융합 방법의 출력을 융합하는 데 일반화 가능한가?
• RQ4 ProbEn은 정렬된(KAIST) 및 정렬되지 않은(FLIR) 다중모달 검출 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 자전거와 같이 열화상에서는 잘 보이지 않고 RGB에서는 잘 보이는 어려운 객체 클래스의 검출에 ProbEn이 어떤 영향을 미치는가?

주요 결과

• ProbEn은 자전거에 대해 FLIR 벤치마크에서 73.49%의 AP를 기록하여, 다음으로 우수한 성능을 보인 GAFF(72.90% AP)를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• FLIR 데이터셋에서 ProbEn은 83.76% mAP를 달성하여 이전 최고 기록(ThermalDet, 74.60% mAP) 대비 13.5%의 상대적 향상을 보였다.
• KAIST 벤치마크에서 ProbEn은 이전 최고 기록 대비 13.2%의 상대적 향상을 기록하여 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 자전거 검출 성능 향상(AP: 73.49% 대비 ThermalDet의 60.04%)을 통해 두 모달리티의 보완적 특성을 효과적으로 활용할 수 있음을 확인했다.
• 엔드 투 엔드로 훈련된 모델(예: MidFusion)의 출력과 융합하더라도 ProbEn은 성능을 추가로 향상시키며, 후처리 융합 레이어로서의 일반화 능력을 입증했다.
• NMS는 단순하지만 놀랄 만큼 잘 작동하는 기준 융합 전략이지만, ProbEn은 한쪽 모달리티의 검출을 억제하는 대신 양 모달리티의 증거를 통합함으로써 NMS를 능가한다.