[논문 리뷰] Geometric-aware Pretraining for Vision-centric 3D Object Detection

Linyan Huang, Huijie Wang외 5명|arXiv (Cornell University)|2023. 04. 06.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 LiDAR로부터 유도된 BEV 표현을 사용하여 이미지 백본과 뷰 변환 모듈을 공동으로 미세조정하는 기하학적 인식 미사전학습 프레임워크인 GAPretrain를 제안한다. 통합된 조망도(鳥瞰도, BEV) 공간을 활용하고 LiDAR 유도 마스크 생성 및 대상 인식 기하학적 상관 모듈을 도입함으로써, 모odal 비일치를 감소시키고 공간 특징 학습을 향상시켜 BEVFormer을 사용하여 nuScenes에서 46.2 mAP 및 55.5 NDS를 달성한다. 이는 기준 모델 대비 각각 2.7 및 2.1 포인트 향상된 성능이다.

ABSTRACT

Multi-camera 3D object detection for autonomous driving is a challenging problem that has garnered notable attention from both academia and industry. An obstacle encountered in vision-based techniques involves the precise extraction of geometry-conscious features from RGB images. Recent approaches have utilized geometric-aware image backbones pretrained on depth-relevant tasks to acquire spatial information. However, these approaches overlook the critical aspect of view transformation, resulting in inadequate performance due to the misalignment of spatial knowledge between the image backbone and view transformation. To address this issue, we propose a novel geometric-aware pretraining framework called GAPretrain. Our approach incorporates spatial and structural cues to camera networks by employing the geometric-rich modality as guidance during the pretraining phase. The transference of modal-specific attributes across different modalities is non-trivial, but we bridge this gap by using a unified bird's-eye-view (BEV) representation and structural hints derived from LiDAR point clouds to facilitate the pretraining process. GAPretrain serves as a plug-and-play solution that can be flexibly applied to multiple state-of-the-art detectors. Our experiments demonstrate the effectiveness and generalization ability of the proposed method. We achieve 46.2 mAP and 55.5 NDS on the nuScenes val set using the BEVFormer method, with a gain of 2.7 and 2.1 points, respectively. We also conduct experiments on various image backbones and view transformations to validate the efficacy of our approach. Code will be released at https://github.com/OpenDriveLab/BEVPerception-Survey-Recipe.

연구 동기 및 목표

• 다중 카메라 3D 객체 검출에서 이미지 백본과 뷰 변환 모듈 간의 공간 지식 비일치 문제를 해결하기 위해.
• 통합된 BEV 표현을 활용해 LiDAR에서 유도된 기하학적 지식을 카메라 기반 모델로 이관함으로써 성능을 향상시키기 위해.
• 희소한 LiDAR 포인트 클라우드와 밀도 높은 이미지 특징 간의 도메인 갭을 미사전학습 기간에 줄이기 위해.
• 아키텍처 수정 없이 최신 BEV 기반 검출기와 즉각 통합 가능한 플러그 앤 플레이 기능을 제공하기 위해.
• 효과적인 미사전학습을 위해 대규모의 레이블이 없는 카메라 및 LiDAR 데이터를 활용하기 위해.

제안 방법

• 이 방법은 통합된 BEV 공간에서 이미지 백본과 뷰 변환 모듈의 미사전학습을 유도하기 위해 LiDAR 포인트 클라우드를 기하학적 감독으로 사용하는 미사전학습 딜리게이션 프레임워크를 도입한다.
• 처리된 LiDAR 어텐션 맵을 사용해 주목할 만한 영역을 강조하고 배경 노이즈 영역을 억제함으로써 이미지 특징에서의 정확도를 높이는 LiDAR 유도 마스크 생성 모듈을 적용한다.
• BEV 공간에서 검출된 객체 간의 공간적 관계를 모델링함으로써 교차 인스턴스 기하학적 일관성을 향상시키는 대상 인식 기하학적 상관 모듈을 도입한다.
• BEV 표현에서의 양자화 오차를 줄이고 LiDAR 포인트 분포를 매끄럽게 하기 위해 (3,3) 커널을 가진 가우시안 연산을 적용한다.
• 표준 지식 전달에서 사용되는 복잡한 KL 발산 대신, 이미지 모델의 BEV 특징과 LiDAR 모델의 BEV 특징 간의 L2 거리 기반 손실을 사용하여 미사전학습 손실을 정의한다.
• 학습 안정성 향상과 특징 붕괴 방지를 위해 전체 데이터셋의 평균과 분산을 고정하여 배치 정규화 통계를 고정함으로써 특징 화이트닝을 수행한다.

실험 결과

연구 질문

• RQ1 BEV 기반 아키텍처에서 카메라 전용 3D 객체 검출기 성능을 향상시키기 위해 LiDAR 유도 기하학적 사전 지식을 사용한 미사전학습이 가능한가?
• RQ2 이미지 백본과 뷰 변환 모듈의 공동 미사전학습이 공간 특징 정렬과 검출 정확도에 어떤 영향을 미치는가?
• RQ3 LiDAR 유도 어텐션 마스크와 기하학적 상관 모듈이 이미지 및 LiDAR 특징 간의 모달 갭을 어느 정도 감소시키는가?
• RQ4 교차 모달 환경에서 복잡한 지식 전달 목표인 KL 발산 대비 단순한 L2 손실이 미사전학습에 더 효과적인가?
• RQ5 제안된 방법이 다양한 이미지 백본 및 뷰 변환 아키텍처에 일반화 가능한가?

주요 결과

• BEVFormer을 사용하여 nuScenes 검증 세트에서 GAPretrain는 46.2 mAP 및 55.5 NDS를 달성하였으며, 이는 기준 모델 대비 각각 2.7 mAP 및 2.1 NDS 향상이다.
• 마스크 생성 모듈만으로도 mAP가 2.4% 향상되고 mATE(객체 위치 오차)가 5.9% 감소하여 더 나은 특징 정제가 가능함을 입증하였다.
• 대상 인식 기하학적 상관 모듈을 추가함으로써 NDS에 추가로 0.4% 향상되었으며, 이는 상호 인스턴스 간 공간 일관성을 향상시키는 데 효과적임을 보여준다.
• 어텐션 맵 스케일링에서 로그 함수를 사용한 정규화가 다른 함수 대비 3.1% mAP 향상을 이끌어내어 특징 校정에서의 중요성을 입증한다.
• LiDAR 모델의 헤드를 상속함으로써 mAP는 0.6% 향상되고 NDS는 2.3% 향상되었으며, 이는 더 나은 검출 헤드 초기화가 최종 성능 향상에 기여함을 시사한다.
• 절단 실험 결과 L2 손실이 KL 발산보다 더 효과적임을 확인하였고, 고정된 배치 정규화 통계는 학습 안정성과 성능 향상에 뚜렷한 기여를 한다.