[논문 리뷰] BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers
BEVFormer는 그리드형 BEV 쿼리를 사용하는 시공간 변환기를 활용하여 다중 카메라 이미지로부터 통합된 BEV 표현을 학습하고, 깊이 의존 없이 엔드-투-엔드 3D 탐지 및 맵 세그먼테이션을 가능하게 한다. 공간적 교차 주의력과 시간적 자기 주의력을 통합함으로써 nuScenes와 Waymo에서 최첨단 성능을 달성한다.
3D visual perception tasks, including 3D detection and map segmentation based on multi-camera images, are essential for autonomous driving systems. In this work, we present a new framework termed BEVFormer, which learns unified BEV representations with spatiotemporal transformers to support multiple autonomous driving perception tasks. In a nutshell, BEVFormer exploits both spatial and temporal information by interacting with spatial and temporal space through predefined grid-shaped BEV queries. To aggregate spatial information, we design spatial cross-attention that each BEV query extracts the spatial features from the regions of interest across camera views. For temporal information, we propose temporal self-attention to recurrently fuse the history BEV information. Our approach achieves the new state-of-the-art 56.9\% in terms of NDS metric on the nuScenes exttt{test} set, which is 9.0 points higher than previous best arts and on par with the performance of LiDAR-based baselines. We further show that BEVFormer remarkably improves the accuracy of velocity estimation and recall of objects under low visibility conditions. The code is available at \url{https://github.com/zhiqi-li/BEVFormer}.
연구 동기 및 목표
- 다중 시야 이미지로부터 BEV 특징을 학습하여 깊이 의존 없이 카메라 기반 3D 인식을 촉진한다.
- 여러 인식 작업을 위한 시공간 변환기를 갖춘 통합 BEV 인코더를 제안한다.
- 프레임 간의 시간적 융합을 가능하게 하여 속도 추정과 차폐 처리 성능을 향상시킨다.
제안 방법
- BEV 공간을 쿼리하기 위한 격자 모양의 학습 가능한 BEV 쿼리를 도입한다.
- 다중 뷰의 관심 영역에서 다중 카메라 특징을 모으기 위해 공간적 교차 주의력(변형 가능)을 사용한다.
- 자기 주의력을 통해 현재 BEV 쿼리를 자가 모션으로 정렬된 이력 BEV 특징과 융합한다.
- BEV 격자 셀에서 카메라 뷰로 3D 참조점을 투사하여 교차 주의에 사용한다.
- BEV 특징 위에 엔드 투 엔드 3D 탐지 헤드와 맵 세그먼테이션 헤드를 적용한다.
실험 결과
연구 질문
- RQ1깊이 정보 없이 다중 카메라 입력으로부터 BEV 특징을 어떻게 학습할 수 있는가?
- RQ2시공간 변환기가 시각별 공간 특징과 시간 정보를 효과적으로 융합하여 3D 탐지 및 맵 세그먼테이션을 지원할 수 있는가?
- RQ3카메라 기반 인식에서 시간 정보가 속도 추정 및 가림 처리에 미치는 영향은 무엇인가?
- RQ4BEVFormer는 nuScenes와 Waymo에서 기존의 카메라 기반 및 LiDAR 기반 기준선과 어떻게 비교되는가?
- RQ5공동 학습 시 통합 BEV 표현이 다양한 인식 작업에 유익한가?
주요 결과
- BEVFormer는 nuScenes 테스트 세트에서 56.9% NDS를 달성하여 DETR3D보다 9.0 포인트 앞선다.
- BEVFormer는 맵 세그먼테이션에서 최첨단 성능을 달성하며 차선 세그먼테이션에서 Lift-Splat보다 5포인트 이상 앞선다.
- 시간 정보는 가림 객체의 속도 추정 및 재현율을 크게 향상시키며, 가시성 하위집합 전반에 걸쳐 뚜렷한 이점을 보인다.
- BEVFormer는 nuScenes의 NDS 및 AP 척도에서 LiDAR 기반 기준선에 근접하고, Waymo에서 DETR3D에 비해 APH를 향상시킨다.
- BEVFormer를 사용한 검출과 세그먼테이션의 공동 학습은 강력한 다중 작업 성능과 공유 계산 이점을 가져온다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.