[논문 리뷰] Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe

Hongyang Li, Chonghao Sima외 20명|arXiv (Cornell University)|2022. 09. 12.

Robotics and Sensor-Based Localization인용 수 10

한 줄 요약

이 논문은 자율주행 차량에서 Bird's-eye-view (BEV) 인식에 대한 종합적인 리뷰, 평가 및 실용적인 조언을 제시한다. 카메라 전용, LiDAR, 다중 센서 융합 기반 접근법을 포함한다. 체계적인 설계 원칙, 손실 함수, 그리고 성능 향상을 위한 검증된 '트릭의 상자'를 포함한 도구상자도 소개한다. 이는 nuScenes 및 Waymo와 같은 벤치마크에서 3D 검출 및 세그멘테이션 성능을 향상시키며, LiDAR 세그멘테이션에서 최대 1.1 mIoU 향상을 달성하고 카메라 전용 설정에서 LiDAR 전용 방법과의 격차를 줄인다.

ABSTRACT

Learning powerful representations in bird's-eye-view (BEV) for perception tasks is trending and drawing extensive attention both from industry and academia. Conventional approaches for most autonomous driving algorithms perform detection, segmentation, tracking, etc., in a front or perspective view. As sensor configurations get more complex, integrating multi-source information from different sensors and representing features in a unified view come of vital importance. BEV perception inherits several advantages, as representing surrounding scenes in BEV is intuitive and fusion-friendly; and representing objects in BEV is most desirable for subsequent modules as in planning and/or control. The core problems for BEV perception lie in (a) how to reconstruct the lost 3D information via view transformation from perspective view to BEV; (b) how to acquire ground truth annotations in BEV grid; (c) how to formulate the pipeline to incorporate features from different sources and views; and (d) how to adapt and generalize algorithms as sensor configurations vary across different scenarios. In this survey, we review the most recent works on BEV perception and provide an in-depth analysis of different solutions. Moreover, several systematic designs of BEV approach from the industry are depicted as well. Furthermore, we introduce a full suite of practical guidebook to improve the performance of BEV perception tasks, including camera, LiDAR and fusion inputs. At last, we point out the future research directions in this area. We hope this report will shed some light on the community and encourage more research effort on BEV perception. We keep an active repository to collect the most recent work and provide a toolbox for bag of tricks at https://github.com/OpenDriveLab/Birds-eye-view-Perception

연구 동기 및 목표

• 자율주행 차량을 위한 Bird's-eye-view (BEV) 인식 분야에서 최근의 발전을 체계적으로 리뷰하며, 다중 센서 융합, 카메라 전용, LiDAR 기반 접근법에 집중한다.
• BEV 인식의 핵심 과제를 특정화한다. 이는 2D 시야에서의 3D 재구성, BEV 격자 내의 애너테이션, 특징 융합, 다양한 센서 구성 간의 일반화이다.
• 최적화된 구성 요소—손실 함수, 백본 설계, 융합 메커니즘 등—를 포함한 실용적이고 경험적으로 검증된 조언을 제공하여 BEV 인식 성능을 향상시킨다.
• 카메라 전용과 LiDAR 기반 3D 인식 간의 성능 격차를 줄이기 위해 체계적이고 재현 가능한 파이프라인을 제공한다.

제안 방법

• 입력 모odal리티에 따라 BEV 카메라, BEV LiDAR, BEV 융합으로 분류함으로써 BEV 인식을 위한 통합 프레임워크를 제안한다.
• 보간 전에 가벼운 MLP를 사용해 특징 추출을 수행하고, 복셀 기반 브랜치의 계산 비용을 줄이기 위해 복셀-포인트 브랜치를 도입한 수정된 SPVCNN 아키텍처인 Voxel-SPVCNN를 제안한다.
• 카메라 전용 BEV 검출에서 2D 검출 및 깊이 감독을 보조 손실로 활용하여 2D 특징 학습을 향상시키고 3D 위치 정확도를 향상시킨다.
• LiDAR 세그멘테이션에서 경계 감지 및 클래스 불균형 완화를 위해 Geo 손실 및 Lovász 손실과 같은 고급 손실 함수를 도입한다.
• 백본 초기화, 데이터 증강, 학습 스케줄링 등을 포함한 전반적인 실용 기법 세트(‘트릭의 상자’)를 개발하였으며, 여러 벤치마크에서 검증하였다.
• 재현 가능성과 커뮤니티 도입을 지원하기 위해 https://github.com/OpenDriveLab/Birds-eye-view-Perception 에 오픈소스 도구상자를 공개한다.

실험 결과

연구 질문

• RQ1 BEV 인식에서 2D 시야에서 3D 기하 정보를 어떻게 효과적으로 재구성할 수 있는가?
• RQ2 BEV 기반 3D 검출 및 세그멘테이션 성능 향상을 위한 가장 효과적인 손실 함수와 학습 전략은 무엇인가?
• RQ3 다양한 센서(카메라, LiDAR, GNSS 등)의 특징 표현을 BEV 공간에서 효과적으로 정렬하고 융합하는 방법은 무엇인가?
• RQ4 다양한 센서 구성과 벤치마크에서 일관된 성능 향상을 이끄는 체계적 설계 선택은 무엇인가?
• RQ5 기초 모델 지식을 어떻게 활용하여 BEV 인식 시스템의 일반화 능력과 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 Voxel-SPVCNN는 최적화된 복셀화를 통해 복셀 기반 브랜치의 계산량을 감소시켜 LiDAR 세그멘테이션 벤치마크에서 mIoU를 1.1 향상시켰다.
• 카메라 전용 BEV 검출에서 보조 2D 검출 및 깊이 감독 손실을 활용하면, 아키텍처 변경을 최소화하면서도 3D 위치 정확도가 크게 향상된다.
• LiDAR 세그멘테이션에서 Geo 손실 및 Lovász 손실을 사용함으로써 mIoU가 각각 0.6 향상되었으며, 이는 더 나은 경계 처리 및 클래스 불균형 완화 덕분이었다.
• 카메라 전용 BEV 모델에서 2D 검출 헤드와 깊이 감독을 조합하면, 특히 Waymo 및 nuScenes와 같은 도전적인 벤치마크에서 LiDAR 전용 방법과의 성능 격차가 줄어든다.
• 오픈소스 도구상자와 체계적인 조언 덕분에 여러 데이터셋에서 일관된 성능 향상이 달성되었으며, BEV 인식 파이프라인에서 재현 가능한 성능 향상이 입증되었다.