[논문 리뷰] TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning

Peixiang Huang, Li Liu외 5명|arXiv (Cornell University)|2022. 12. 28.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 카메라 기반 BEV 검출기의 성능을 향상시키기 위해 LiDAR 모odal리티로부터 타깃의 내부 기하학을 학습하는 새로운 프레임워크인 TiG-BEV를 제안한다. 내부 깊이 감독과 적응형 기준점, 그리고 채널 간 및 관점 간 유사도를 활용한 내부 특징 BEV distillation을 도입하여, BEVDepth에서 +2.3% NDS 및 +2.4% mAP, BEVDet에서는 CBGS 없이도 nuScenes에서 +9.1% NDS 및 +10.3% mAP의 성능 향상을 달성한다.

ABSTRACT

To achieve accurate and low-cost 3D object detection, existing methods propose to benefit camera-based multi-view detectors with spatial cues provided by the LiDAR modality, e.g., dense depth supervision and bird-eye-view (BEV) feature distillation. However, they directly conduct point-to-point mimicking from LiDAR to camera, which neglects the inner-geometry of foreground targets and suffers from the modal gap between 2D-3D features. In this paper, we propose the learning scheme of Target Inner-Geometry from the LiDAR modality into camera-based BEV detectors for both dense depth and BEV features, termed as TiG-BEV. First, we introduce an inner-depth supervision module to learn the low-level relative depth relations between different foreground pixels. This enables the camera-based detector to better understand the object-wise spatial structures. Second, we design an inner-feature BEV distillation module to imitate the high-level semantics of different keypoints within foreground targets. To further alleviate the BEV feature gap between two modalities, we adopt both inter-channel and inter-keypoint distillation for feature-similarity modeling. With our target inner-geometry distillation, TiG-BEV can effectively boost BEVDepth by +2.3% NDS and +2.4% mAP, along with BEVDet by +9.1% NDS and +10.3% mAP on nuScenes val set. Code will be available at https://github.com/ADLab3Ds/TiG-BEV.

연구 동기 및 목표

• 카메라 기반 및 LiDAR 기반 3D 검출기 간의 성능 격차를 해소하기 위해 LiDAR의 공간적 정보를 활용한다.
• 기존 방법들이 객체 특화된 내부 기하학을 모델링하지 않고 직접적이고 엄격한 특징 복제를 수행하는 데서 비롯하는 한계를 극복한다.
• 전경 타깃 내부의 상대적 깊이 및 의미 관계를 학습하여 깊이 맵 품질 향상과 BEV 특징 정렬 개선을 도모한다.
• 구조적이고 기하학적 인식이 가능한 distillation을 통해 카메라와 LiDAR의 BEV 특징 간 모달리티 격차를 줄인다.
• 다양한 백본 아키텍처와 시간 설정에서 일관된 성능 향상을 가능하게 한다.

제안 방법

• 각 전경 타깃 내의 적응형 기준점에서 상대적 깊이 값을 계산하는 내부 깊이 감독 모듈을 도입하여 국소 기하학적 이해를 향상시킨다.
• 정답에 대한 깊이 오차가 최소가 되는 지점에서 선택된 타깃 적응형 깊이 기준점을 활용하여 다양한 객체 형태에 대비한 강건성을 향상시킨다.
• 채널 간 및 관점 간 유사도를 모델링하여 키포인트 특징 간 유사도를 기반으로 고수준 의미 정보를 전달하는 내부 특징 BEV distillation 모듈을 제안한다.
• 채널 간 및 관점 간 병합된 distillation을 통해 엄격한 채널 수준 정렬을 요구하지 않으면서도 카메라와 LiDAR의 BEV 표현 간 모달리티 격차를 감소시킨다.
• BEVDepth 및 BEVDet와 같은 학생 모델에 프레임워크를 적용하여, LiDAR 감독 하에 내부 기하학 학습을 훈련 과정에 통합한다.
• 사전 훈련된 LiDAR 기반 검출기가 카메라 기반 검출기의 깊이 및 BEV 특징 학습을 위한 감독을 제공하는 교사-학생 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 전경 타깃 내부의 상대적 깊이 관계를 모델링하면 카메라 기반 BEV 검출기의 정확도 향상에 기여하는가?
• RQ2 BEV 공간에서 내부 특징 distillation을 통해 고수준 의미 구조를 학습하면 카메라와 LiDAR 특징 간 모달리티 격차가 감소하는가?
• RQ3 고정 또는 쌍방향 기준점 전략에 비해 적응형 기준점 선택 전략은 내부 깊이 감독에서 얼마나 효과적인가?
• RQ4 채널 간 및 관점 간 distillation 구성 요소가 성능 향상에 독립적이고 통합적으로 기여하는 정도는 어느 정도인가?
• RQ5 제안된 내부 기하학 학습 기법은 다양한 2D 백본 아키텍처와 시간 설정에서 일반화 가능한가?

주요 결과

• BEVDepth는 TiG-BEV를 적용한 결과 nuScenes 검증 세트에서 +2.3% NDS 및 +2.4% mAP 향상을 기록하여 뚜렷한 성능 향상을 입증한다.
• BEVDet는 CBGS 없이도 +9.1% NDS 및 +10.3% mAP의 상당한 향상을 기록하여 어려운 설정에서도 방법의 효과성을 입증한다.
• 내부 깊이 감독만으로도 mAP가 +1.0% 향상되고 NDS가 +0.9% 향상되어 깊이 품질 향상과 정렬 정확도 향상에 직접적인 영향을 미친다.
• 내부 특징 BEV distillation만으로도 mAP가 +3.0% 향상되고 NDS가 +2.3% 향상되어 고수준 의미 정보 전달의 강력한 기여를 확인할 수 있다.
• 두 구성 요소를 결합하면 mAP가 +3.7% 향상되고 NDS가 +2.7% 향상되어 상호 보완성과 상호 보완적 효과를 입증한다.
• 이 방법은 다양한 2D 백본 아키텍처와 시간 설정에서 일반화 가능하며, mAP 향상은 +3.4%에서 +5.8%까지, NDS 향상은 +2.5%에서 +5.0%까지 다양하게 나타난다.