[논문 리뷰] OccFusion: Multi-Sensor Fusion Framework for 3D Semantic Occupancy Prediction

Zhenxing Ming, Julie Stephany Berrío외 2명|arXiv (Cornell University)|2024. 03. 03.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

OccFusion는 360° 카메라, 라이다, 레이더 데이터를 통합하는 동적 다중 센서 융합 프레임워크를 제안하며, 3D 세분화 점유 예측을 위해 새로운 3D/2D 동적 융합 모듈을 사용하여 내성적 정확도와 강인성을 향상시킨다. 이는 나이트 및 강우 조건과 같은 도전적인 환경에서도 nuScenes에서 최신 기술 수준의 성능을 달성하며, 카메라 전용 기준 모델 대비 최대 6.5% mIoU 향상을 기록한다.

ABSTRACT

A comprehensive understanding of 3D scenes is crucial in autonomous vehicles (AVs), and recent models for 3D semantic occupancy prediction have successfully addressed the challenge of describing real-world objects with varied shapes and classes. However, existing methods for 3D occupancy prediction heavily rely on surround-view camera images, making them susceptible to changes in lighting and weather conditions. This paper introduces OccFusion, a novel sensor fusion framework for predicting 3D occupancy. By integrating features from additional sensors, such as lidar and surround view radars, our framework enhances the accuracy and robustness of occupancy prediction, resulting in top-tier performance on the nuScenes benchmark. Furthermore, extensive experiments conducted on the nuScenes and semanticKITTI dataset, including challenging night and rainy scenarios, confirm the superior performance of our sensor fusion strategy across various perception ranges. The code for this framework will be made available at https://github.com/DanielMing123/OccFusion.

연구 동기 및 목표

• 불량한 조도 및 기상 조건에서 카메라 전용 3D 점유 예측의 한계를 해결하기 위해.
• 라이다(기하학적 정확도)와 레이더(기상 강인성)의 상호보완적 강점을 카메라(세분화 풍부성)와 융합하여 시나리오 이해를 향상시키기 위해.
• 다양한 인지 범위 및 환경 조건에서 모델 강인성을 향상시키는 통합적이고 효율적인 융합 프레임워크를 개발하기 위해.
• nuScenes 벤치마크를 사용하여 야간 및 강우와 같은 도전적인 상황에서의 다중 센서 융합 전략의 성능 향상 여부를 평가하기 위해.

제안 방법

• 카메라에서 유도된 BEV 특징과 라이다 및 레이더에서 유도된 3D 특징 볼륨을 학습 가능한 어텐션 메커니즘을 사용해 융합하는 동적 융합 3D/2D 모듈을 제안한다.
• 다중 수준의 감독을 통해 다단계의 거친-세밀한 보정 구조를 구현하여 모든 공간 수준에서의 특징 표현을 향상시킨다.
• 3D 특징 융합를 안내하고 수렴 속도를 가속화하기 위해 BEV 특징을 전역적인 자극 신호로 사용한다.
• 2D 및 3D 공간 모두에 SENet 블록을 적용하여 다중 모odal 특징을 동적으로 재조정함으로써 핵심 특징의 증폭 효과를 향상시킨다.
• 카메라+레이더, 카메라+라이다, 카메라+라이다+레이더의 세 가지 융합 전략을 지원하여 아블레이션 및 비교 분석을 가능하게 한다.
• 3D로의 상승 이전에 Bird’s-Eye-View(BEV) 공간에서 특징 수준 융합을 적용하여 효과적인 다중 모달 간 상호작용을 가능하게 한다.

Figure 1 : The figure above demonstrates the pipeline of two approaches: The purely vision-centric approach (top) and the multi-sensor fusion approach (bottom). We conduct 3D semantic occupancy prediction by doing feature fusion with respect to three modality feature volumes.

실험 결과

연구 질문

• RQ1 라이다와 레이더를 카메라 데이터와 융합할 경우, 불량한 조도 및 기상 조건에서 3D 세분화 점유 예측 성능은 어떻게 향상되는가?
• RQ2 다양한 인지 범위에서 각 센서 모odal(카메라, 라이다, 레이더)이 최종 예측 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ3 제안된 동적 융합 3D/2D 모듈은 다중 모달 특징 융합에서 단순 연결 또는 고정 어텐션 메커니즘보다 어떻게 우월한가?
• RQ4 다중 척도 감독 및 보정 전략이 모델 수렴 및 성능에 미치는 영향은 어떠한가?
• RQ5 야간 및 강우와 같은 극한 상황에서 카메라+라이다+레이더의 전체 센서 융합 전략은 단일 또는 이중 모달 기준 모델 대비 어떻게 성능을 발휘하는가?

주요 결과

• 전체 OccFusion 프레임워크(Camera+Lidar+Radar)는 nuScenes 검증 세트에서 평균 교차율(mIoU) 30.97%를 기록하며, 카메라 전용 기준 모델을 초월한다.
• 야간 및 강우 조건에서 라이다와 레이더를 추가함으로써 mIoU가 카메라 전용 모델 대비 최대 6.5% 향상된다.
• 다중 척도 거친-세밀한 보정 구조와 다중 수준 감독을 통해 단일 척도 기준 모델 대비 mIoU가 5.23% 향상된다.
• 동적 융합 모듈에서 BEV 특징을 제거할 경우 mIoU가 6.5% 감소하여, 이 특징이 3D 특징 융합를 안내하는 데 핵심적인 역할을 함을 입증한다.
• SENet3D 및 SENet2D 블록은 성능 향상에 크게 기여하며, 둘 다 비활성화할 경우 mIoU가 6% 이상 감소한다.
• 모델은 다양한 인지 범위에서 우수한 성능 유지를 보이며, 카메라+라이다+레이더 융합 전략은 모든 거리 범위에서 일관된 성능 향상을 보인다.

Figure 2 : Overall architecture of OccFusion. Firstly, the surround-view images were inputted into the 2D backbone to extract multiple-scale features. Subsequently, a view transformation is conducted at each scale to obtain the global BEV feature and the local 3D feature volume at each level. The 3D