[논문 리뷰] OA-DET3D: Embedding Object Awareness as a General Plug-in for Multi-Camera 3D Object Detection

Xiaomeng Chu, Jiajun Deng외 4명|arXiv (Cornell University)|2023. 01. 13.

Advanced Neural Network Applications인용 수 7

한 줄 요약

OA-BEV는 Bird's-eye-view(BEV) 기반 3D 객체 검출 성능을 향상시키기 위해 객체 인식 깊이와 의사-3D 특징을 BEV 표현에 통합하는 플러그인 모듈이다. 객체 수준의 깊이 감독과 배경이 아닌 영역의 의사-LiDAR 포인트 클라우드를 활용하여 특징 왜곡을 감소시키고 3D 정렬을 향상시켜 nuScenes에서 43.1% mAP 및 52.8% NDS를 달성하며, BEVFormer보다 각각 1.5%와 1.1% 높은 성능을 기록한다.

ABSTRACT

The recent advance in multi-camera 3D object detection is featured by bird's-eye view (BEV) representation or object queries. However, the ill-posed transformation from image-plane view to 3D space inevitably causes feature clutter and distortion, making the objects blur into the background. To this end, we explore how to incorporate supplementary cues for differentiating objects in the transformed feature representation. Formally, we introduce OA-DET3D, a general plug-in module that improves 3D object detection by bringing object awareness into a variety of existing 3D object detection pipelines. Specifically, OA-DET3D boosts the representation of objects by leveraging object-centric depth information and foreground pseudo points. First, we use object-level supervision from the properties of each 3D bounding box to guide the network in learning the depth distribution. Next, we select foreground pixels using a 2D object detector and project them into 3D space for pseudo-voxel feature encoding. Finally, the object-aware depth features and pseudo-voxel features are incorporated into the BEV representation or query feature from the baseline model with a deformable attention mechanism. We conduct extensive experiments on the nuScenes dataset and Argoverse 2 dataset to validate the merits of OA-DET3D. Our method achieves consistent improvements over the BEV-based baselines in terms of both average precision and comprehensive detection score.

연구 동기 및 목표

• 다중 카메라 3D 검출에서 BEV 특징 변환 과정에서 발생하는 특징 왜곡과 3D 구조 정보 손실 문제를 해결하기 위해.
• 추가 깊이 애너테이션 없이도 BEV 표현 내 객체 인식 능력을 향상시키기 위해.
• 의사-3D 특징과 깊이 맵을 통해 객체 중심의 3D 공간 정보를 통합하여 검출 성능을 향상시키기 위해.
• 기존 BEV 기반 검출기와 호환되는 플러그인 모듈을 설계하여 일관된 성능 향상을 달성하기 위해.

제안 방법

• 각 3D 객체 중심에서 깊이 값을 회귀하여 객체 수준의 깊이 감독을 적용하여 전경 깊이 맵을 추정한다.
• 2D 객체 검출기가 전경 영역을 식별하고 이를 3D 공간으로 투영하여 희소한 의사-LiDAR 포인트 클라우드를 생성한다.
• 의사-LiDAR 포인트는 볼록화되어 3D 희소 컨볼루션을 통해 의사-바쿠올 특징으로 인코딩된다.
• 객체 인식 깊이 특징과 의사-바쿠올 특징이 변형 가능한 어텐션 메커니즘을 사용해 BEV 표현에 융합된다.
• 기존 3D 검출 레이블을 활용하여 추가 깊이 애너테이션의 필요성을 제거한다.
• 백본 아키텍처에 변경 없이 BEVDet 및 BEVFormer과 같은 BEV 기반 검출기에 플러그인 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 추가 깊이 애너테이션 없이도 객체 인식 깊이 감독이 BEV 특징 품질 향상에 기여할 수 있는가?
• RQ2 2D 검출 및 깊이 맵에서 유도된 의사-3D 특징은 3D 객체 정렬에 얼마나 효과적인가?
• RQ3 변형 가능한 어텐션을 통한 깊이 및 의사-바쿠올 특징 융합이 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 OA-BEV의 성능 향상 정도는 기반 BEV 표현의 품질에 의존하는가?

주요 결과

• OA-BEV는 nuScenes 검증 세트에서 43.1% mAP 및 52.8% NDS를 기록하며, BEVFormer보다 각각 1.5%와 1.1% 높은 성능을 달성한다.
• 테스트 세트에서 OA-BEV는 테스트 타임 증강 또는 모델 앙상블 없이 BEVFormer 대비 mAP 1.3% 향상 및 NDS 0.6% 향상된다.
• 객체 수준의 깊이 감독은 mAP 1.4%와 NDS 0.8% 향상 기여를 보이며, 깊이 추정 향상에 효과적임을 입증한다.
• 의사-바쿠올 특징 융합은 mAP 1.2% 향상으로 이어지며, 3D 구조 정보 캡처의 강력한 이점이 있음을 시사한다.
• 변형 가능한 크로스 어텐션을 통한 깊이 특징 융합은 mAP 및 NDS 각각 0.4% 향상시키며, 공간 표현 향상에 기여함을 확인한다.
• nuImages에서 사전 훈련을 통해 속성 오차가 0.014 감소하여 2D 인식 사전 훈련이 의미적 특징 학습 향상에 기여함을 시사한다.