[논문 리뷰] HRFuser: A Multi-resolution Sensor Fusion Architecture for 2D Object Detection

Tim Broedermann, Christos Sakaridis외 2명|arXiv (Cornell University)|2022. 06. 30.

Advanced Neural Network Applications인용 수 3

한 줄 요약

HRFuser는 카메라, 라이다, 레이더, 게이팅된 카메라 입력을 새로운 다중 창 교차 어텐션(MWCA) 블록을 사용해 다중 해상도 특징을 유지하면서 융합하는 모듈러하고 다중 해상도 센서 융합 아키텍처이다. 이는 nuScenes와 DENSE에서 최신 기술을 초월하는 성능을 달성하며, 한 가지 모dal을 추가할 때마다 FLOPs는 +9.7%, 파라미터 수는 +1.9%만 증가한다.

ABSTRACT

Besides standard cameras, autonomous vehicles typically include multiple additional sensors, such as lidars and radars, which help acquire richer information for perceiving the content of the driving scene. While several recent works focus on fusing certain pairs of sensors - such as camera with lidar or radar - by using architectural components specific to the examined setting, a generic and modular sensor fusion architecture is missing from the literature. In this work, we propose HRFuser, a modular architecture for multi-modal 2D object detection. It fuses multiple sensors in a multi-resolution fashion and scales to an arbitrary number of input modalities. The design of HRFuser is based on state-of-the-art high-resolution networks for image-only dense prediction and incorporates a novel multi-window cross-attention block as the means to perform fusion of multiple modalities at multiple resolutions. We demonstrate via extensive experiments on nuScenes and the adverse conditions DENSE datasets that our model effectively leverages complementary features from additional modalities, substantially improving upon camera-only performance and consistently outperforming state-of-the-art 3D and 2D fusion methods evaluated on 2D object detection metrics. The source code is publicly available.

연구 동기 및 목표

• 자율주행에서 다중 모odal 2D 객체 검출을 위한 일반적이고 모듈러한 센서 융합 아키텍처의 부족을 해결한다.
• 저조도 및 깊이 정보 부족으로 인해 카메라 전용 모델이 실패하는 악천후 조건에서의 강건성을 향상시킨다.
• 라이다, 레이더, 게이팅된 카메라 등 임의의 수의 센서를 특수 설계된 구성 요소 없이도 확장 가능한 방식으로 융합할 수 있도록 한다.
• 밀도 높은 예측 작업에서 세밀한 공간적 세부 정보를 유지하기 위해 네트워크 전반에 걸쳐 고해상도 특징 표현을 유지한다.
• 레이더와 같은 저품질 센서의 노이즈를 줄이고 모든 모달리티의 보완적 특징을 효율적으로 활용하는 융합 메커니즘을 개발한다.

제안 방법

• HRFuser는 주 카메라 브랜치에서 고해상도 특징을 유지하면서 각 보조 모달리티에 대해 경량의 고해상도 브랜치를 추가함으로써 고해상도 네트워크 패러다임을 다중 모달 입력으로 확장한다.
• 핵심 융합 메커니즘은 다중 창 교차 어텐션(MWCA) 블록으로, 겹치지 않는 공간 창에서 교차 어텐션을 적용하여 이차 복잡도를 감소시키고 효율적인 다중 해상도 융합을 가능하게 한다.
• 융합은 카메라 백본 전반의 다수의 특징 수준과 해상도에서 수행되어 다중 모달 특징의 계층적이고 다중 척도 통합을 가능하게 한다.
• 각 보조 모달리티는 융합 전에 모달리티 전용의 경량 인코더를 거친 후 MWCA를 통해 카메라 특징과 융합된다.
• 아키텍처는 모듈러하다: 새로운 센서를 추가하려면 새로운 경량 브랜치와 MWCA 블록만 추가하면 되며, 아키텍처 재설계가 필요하지 않다.
• 모델은 표준 2D 검출 헤드(예: CenterNet)를 사용해 다중 모달 특징에서 엔드 투 엔드로 훈련되며, 검출 성능을 최적화하기 위한 손실 함수가 적용된다.

실험 결과

연구 질문

• RQ1 일반적이고 모듈러한 센서 융합 아키텍처가 다양한 센서 모달리티와 악천후 조건에서 2D 객체 검출 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 새로운 어텐션 메커니즘을 활용한 다중 해상도, 다중 수준 융합이 기존의 조기, 후기, 중간 융합 전략보다 2D 검출에서 우월한가?
• RQ3 효율적인 어텐션 메커니즘을 통해 고해상도 카메라 특징과 융합할 때, 노이즈가 많은 센서(예: 레이더)가 검출 성능에 어느 정도 기여할 수 있는가?
• RQ4 추가 센서의 수가 증가함에 따라 계산 비용은 어떻게 변화하며, 모델은 실시간 추론 효율성을 유지할 수 있는가?
• RQ5 3D 앵커파일이 없는 극한 조건(예: dense 안개)에서도 모델은 2D 앵커파일에만 의존하여 일반화 가능한가?

주요 결과

• HRFuser는 모든 네 가지 모달리티(RGB, 라이다, 레이더, 게이팅된 카메라)를 사용해 nuScenes 테스트 세트에서 90.15% AP를 달성했으며, 카메라 전용 HRFormer-T(26.5% AP)와 BEVFusion(31.5% AP)를 모두 능가했다.
• DENSE 데이터셋의 안개 농도 분할에서 HRFuser는 89.62% AP를 기록했으며, 카메라 전용 HRFormer-T(78.68% AP)와 다른 최신 3D 융합 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 한 가지 모달리티(예: 라이다 또는 레이더)를 추가할 때 FLOPs는 단지 +9.7% 증가하고 파라미터 수는 +1.9% 증가하여 높은 계산 효율성을 입증했다.
• DENSE 데이터셋에서 MWCA 블록은 기존 CA 대비 1.7% 향상, PVTv2-Li-CA 대비 2.0% 향상하여 노이즈를 효과적으로 걸러내고 관련 특징에 집중하는 데서 그 효과를 입증했다.
• 정성적 결과는 HRFuser가 HRFormer-T가 놓치는 안개나 눈 속에서 흐리게 보이거나 먼 곳에 있는 차량까지도 탐지할 수 있음을 보여주며, 악천후 조건에서 뛰어난 강건성을 입증했다.
• 제거 실험 결과, MWCA 기반의 다중 해상도, 다중 수준 융합이 필수적임을 확인했으며, 이를 제거하면 nuScenes에서 성능이 1.5 AP 이상 감소했다.