[논문 리뷰] Multimodal Object Detection via Bayesian Fusion.

Yi-Ting Chen, Jinghao Shi외 3명|arXiv (Cornell University)|2021. 04. 07.

Advanced Neural Network Applications참고 문헌 43인용 수 12

한 줄 요약

이 논문은 조건부 독립 가정에서 유도된 확률 모델을 사용하여 RGB 및 열화상 객체 검출을 비학습형 후기 융합하는 Bayesian Fusion를 제안한다. KAIST 및 FLIR 벤치마크에서 이전 작업 대비 상대적 성능 향상 13% 이상을 달성하며, 다양한 조명 조건에서 자율주행 차량을 위한 다중모odal 객체 검출에서 뛰어난 강건성을 입증한다.

ABSTRACT

Object detection with multimodal inputs can improve many safety-critical perception systems such as autonomous vehicles (AVs). Motivated by AVs that operate in both day and night, we study multimodal object detection with RGB and thermal cameras, since the latter can provide much stronger object signatures under poor illumination. We explore strategies for fusing information from different modalities. Our key contribution is a non-learned late-fusion method that fuses together bounding box detections from different modalities via a simple probabilistic model derived from first principles. Our simple approach, which we call Bayesian Fusion, is readily derived from conditional independence assumptions across different modalities. We apply our approach to benchmarks containing both aligned (KAIST) and unaligned (FLIR) multimodal sensor data. Our Bayesian Fusion outperforms prior work by more than 13% in relative performance.

연구 동기 및 목표

• 자율주행 차량과 같은 안전이 중요한 시스템의 객체 검출을 향상시키기 위해 RGB 및 열화상 카메라에서 유용한 보완 정보를 활용하고자 한다.
• 열화상 영상이 더 강력한 객체 서명을 제공하는 저조도 조건에서의 시야 확보가 어려운 문제를 해결하고자 한다.
• 통합 학습이 필요하지 않은 비학습형이고 원리에 기반한 융합 전략을 개발하고자 한다.
• 실제 센서 구성에 맞는 다양한 환경에서의 강건성을 평가하기 위해 정렬된 (KAIST) 및 정렬되지 않은 (FLIR) 다중모달 데이터셋에 대해 방법을 평가하고자 한다.

제안 방법

• 모델은 객체 상태를 기준으로 모달 간 조건부 독립을 가정하여 원리에서 유도된 확률 융합 모델을 사용한다.
• 베이지안 추론을 통해 객체 존재의 사후 확률을 계산하기 위해 RGB 및 열화상 스트림의 바운딩 박스 검출을 융합한다.
• 각 모달의 증거를 가중하는 가능도 모델을 통해 검출 점수와 공간적 오버랩을 융합한다.
• 개별 모달 검출기에서 예측을 생성한 후에 후처리 단계로 적용되므로 엔드 투 엔드 학습이 필요 없다.
• 딥 러닝이나 통합 최적화가 필요 없는 조건부 확률 기반의 간단하고 해석 가능한 수식에 의존한다.
• 정렬된 (KAIST) 및 정렬되지 않은 (FLIR) 두 벤치마크에서 평가되어 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 비학습형 확률 융합 방법이 다중모달 객체 검출에서 학습 기반 융합 방법을 능가할 수 있는가?
• RQ2 저조도 검출 시나리오에서 모달 간 조건부 독립이 융합 성능에 어떤 영향을 미치는가?
• RQ3 Bayesian Fusion는 정렬된 및 정렬되지 않은 다중모달 데이터셋 모두에서 검출 정확도를 얼마나 향상시키는가?
• RQ4 실제 자율주행 차량 구현에서 시간적으로 정렬되지 않은 센서 데이터가 존재할 경우, 융합 방법은 여전히 강건한가?

주요 결과

• Bayesian Fusion는 KAIST 및 FLIR 벤치마크에서 이전 작업 대비 상대적 성능 향상 13% 이상을 달성한다.
• 정렬된 (KAIST) 및 정렬되지 않은 (FLIR) 센서 데이터 모두에서 강력한 일반화 능력을 보여준다.
• 비학습형이고 확률 기반의 설계 덕분에 통합 학습이나 복잡한 캘리브레이션 없이도 신뢰할 수 있는 융합이 가능하다.
• 저조도 조건에서 열화상 영상의 장점을 효과적으로 활용하여, 열조도가 열악한 환경에서도 검출 성능을 크게 향상시킨다.