[논문 리뷰] M$^2$BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation

Enze Xie, Zhiding Yu외 6명|arXiv (Cornell University)|2022. 04. 11.

Robotics and Sensor-Based Localization인용 수 86

한 줄 요약

M2BEV를 도입하는, 공유 BEV 표현에서 3D 객체 탐지와 BEV 세분화를 공동으로 수행하는 단일 프레임워크인 다중 카메라 프레임워크를 소개하며, nuScenes에서 최고 수준의 성능과 높은 효율성을 달성합니다.

ABSTRACT

In this paper, we propose M$^2$BEV, a unified framework that jointly performs 3D object detection and map segmentation in the Birds Eye View~(BEV) space with multi-camera image inputs. Unlike the majority of previous works which separately process detection and segmentation, M$^2$BEV infers both tasks with a unified model and improves efficiency. M$^2$BEV efficiently transforms multi-view 2D image features into the 3D BEV feature in ego-car coordinates. Such BEV representation is important as it enables different tasks to share a single encoder. Our framework further contains four important designs that benefit both accuracy and efficiency: (1) An efficient BEV encoder design that reduces the spatial dimension of a voxel feature map. (2) A dynamic box assignment strategy that uses learning-to-match to assign ground-truth 3D boxes with anchors. (3) A BEV centerness re-weighting that reinforces with larger weights for more distant predictions, and (4) Large-scale 2D detection pre-training and auxiliary supervision. We show that these designs significantly benefit the ill-posed camera-based 3D perception tasks where depth information is missing. M$^2$BEV is memory efficient, allowing significantly higher resolution images as input, with faster inference speed. Experiments on nuScenes show that M$^2$BEV achieves state-of-the-art results in both 3D object detection and BEV segmentation, with the best single model achieving 42.5 mAP and 57.0 mIoU in these two tasks, respectively.

연구 동기 및 목표

• 자율주행을 위한 360도 통합 인식을 촉진하기 위해 3D 탐지와 BEV 세분화를 함께 다룬다.
• 단일 인코더로 다중 뷰, 다중 작업 학습을 가능하게 하는 BEV 기반 표현을 개발한다.
• Spatial-to-Channel BEV 인코딩, 동적 앵커 할당, BEV 센터넌스와 같은 새로운 구성요소를 통해 효율성과 정확도를 향상시킨다.

제안 방법

• 다중 뷰 2D 영상 특징을 ego-car 좌표의 3D 보셀 표현으로 변환한다.
• 제안된 Spatial-to-Channel (S2C) 연산자를 사용하여 보셀을 BEV 특징으로 변환하고 Z 차원을 축소한다.
• BEV 특징에 경량 3D 탐지 헤드(PointPillars에서)을 적용하고 동적 3D 앵커 할당 전략을 사용한다.
• BEV 세분화 헤드를 추가하여 BEV에서 주행 가능 영역과 차선 경계를 예측하고 BEV 센터넌스로 먼 샘플의 가중치를 조정한다.
• 대규모 2D 탐지 사전학습(nuImage)과 2D 보조 감독으로 3D 작업을 향상시킨다.
• L_total = L_det3d + L_seg3d + L_det2d 형태의 결합 손실로 학습하며, 작업별 손실을 포함한다.
• AdamW로 최적화하며 입력 해상도는 1600x900으로 고정하고 데이터 증강은 사용하지 않으며 백본 선택과 인코더 설계를 비교 실험한다.

실험 결과

연구 질문

• RQ1 다중 카메라 구성에서 하나의 BEV 표현이 3D 객체 탐지와 BEV 세분화를 모두 지원할 수 있는가?
• RQ2 효율성에 초점을 둔 BEV 인코더 설계와 동적 앵커 할당이 카메라 기반 3D 탐지와 BEV 세분화를 향상시키는가?
• RQ3 대규모 2D 사전 학습과 2D 보조 감독이 3D 인지 성능에 미치는 영향은 무엇인가?
• RQ4 공유 BEV 프레임워크에서 3D 탐지와 BEV 세분화를 위한 다중 작업 융합 학습이 유익한가?

주요 결과

• M2BEV는 하나의 모델로 nuScenes에서 3D 객체 탐지(mAP 0.425)와 BEV 세분화(mIoU 57.0) 모두에서 최첨단 성능을 달성한다.
• 다중 작업 학습은 개별 작업 성능을 약간 해치지만 공유 인코더와 작업 간 효율 이점을 제공한다.
• Spatial-to-Channel (S2C)를 통한 효율적인 BEV 인코딩은 Naive 3D 컨벌루션에 비해 메모리와 계산량을 감소시켜 더 높은 입력 해상도와 더 빠른 추론을 가능하게 한다.
• 동적 3D 앵커 할당은 고정 IoU 매칭에 비해 mAP를 최대 7.8% 포인트, NDS를 최대 4.8포인트 향상시킨다.
• nuImage에서의 2D 탐지 사전 학습은 3D 탐지 지표를 크게 향상시키고 수렴 속도를 높이며(예: mAP 최대 +13.5), 2D 보조 감독은 성능을 추가로 향상시킨다.
• BEV 센터넌스는 특히 먼 영역에서 BEV 세분화를 개선하고, Spatial-to-Channel BEV 인코더는 더 낮은 비용으로 더 깊은 정제를 가능하게 한다.