[논문 리뷰] MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection

Renrui Zhang, Han Qiu외 8명|arXiv (Cornell University)|2022. 03. 24.

Advanced Neural Network Applications인용 수 7

한 줄 요약

MonoDETR는 단안 3D 객체 검출을 위한 깊이 유도 트랜스포머를 제안하며, 전경 깊이 맵 예측기와 깊이 인식 디코더를 갖춘 이중 인코더 아키텍처를 도입하여 장거리 간 객체 간 깊이 관계를 추론할 수 있도록 한다. 이는 정밀한 깊이 지도 감독 없이도 KITTI에서 최고 성능을 달성하며, nuScenes에서 다중 시점 검출에 대해 플러그 앤 플레이 방식의 깊이 유도 모듈이 효과적으로 일반화됨을 보여준다.

ABSTRACT

Monocular 3D object detection has long been a challenging task in autonomous driving. Most existing methods follow conventional 2D detectors to first localize object centers, and then predict 3D attributes by neighboring features. However, only using local visual features is insufficient to understand the scene-level 3D spatial structures and ignores the long-range inter-object depth relations. In this paper, we introduce the first DETR framework for Monocular DEtection with a depth-guided TRansformer, named MonoDETR. We modify the vanilla transformer to be depth-aware and guide the whole detection process by contextual depth cues. Specifically, concurrent to the visual encoder that captures object appearances, we introduce to predict a foreground depth map, and specialize a depth encoder to extract non-local depth embeddings. Then, we formulate 3D object candidates as learnable queries and propose a depth-guided decoder to conduct object-scene depth interactions. In this way, each object query estimates its 3D attributes adaptively from the depth-guided regions on the image and is no longer constrained to local visual features. On KITTI benchmark with monocular images as input, MonoDETR achieves state-of-the-art performance and requires no extra dense depth annotations. Besides, our depth-guided modules can also be plug-and-play to enhance multi-view 3D object detectors on nuScenes dataset, demonstrating our superior generalization capacity. Code is available at https://github.com/ZrrSkywalker/MonoDETR.

연구 동기 및 목표

• 지역적 시각적 특징에만 의존하고 장거리 깊이 관계를 忽시하는 중심 기반 단안 3D 객체 검출기의 한계를 해결한다.
• 트랜스포머 기반 프레임워크를 활용해 시나리오 수준의 깊이 기하학과 간 객체 간 깊이 관계를 통합함으로써 3D 객체 검출 성능을 향상시킨다.
• 밀도 있는 깊이 애너테이션 없이도 단안 및 다중 시점 3D 검출을 향상시킬 수 있는 플러그 앤 플레이 깊이 유도 모듈을 개발한다.
• 비최대 억제(NMS) 또는 앵커 기반 레이블 할당 없이 오직 객체 수준의 레이블만을 사용해 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 오직 객체 수준의 깊이 레이블만을 사용하여 밀도 없는 깊이 지도 감독을 피하는 경량 깊이 예측기 도입.
• 병렬 이중 인코더 구조: 외관 특징을 위한 시각 인코더와 예측된 깊이 맵에서 유도된 비국소적 깊이 임베딩을 위한 깊이 인코더 활용.
• 깊이 인식 디코더 설계: 깊이 교차 어텐션 레이어를 통해 객체 쿼리가 이미지 전반에 걸쳐 깊이 인식 영역에 주목할 수 있도록 하여 전역적 컨텍스트 통합 가능.
• 시각적 및 깊이 임베딩 표현에서 특징을 적응적으로 통합하는 가변적 쿼리 집합으로 3D 객체 검출을 설정 문제로 재구성.
• 미터 단위 또는 k-비트 이산화를 사용한 학습 가능한 깊이 위치 인코딩을 도입하여 트랜스포머 어텐션 메커니즘 내 깊이 기하학을 유지.
• 비최대 억제, 앵커, 보조 깊이 데이터 없이 오직 2D 및 3D 객체 애너테이션만을 사용해 엔드 투 엔드 학습 수행.

실험 결과

연구 질문

• RQ1 지역적 시각적 특징을 넘어서 장거리 깊이 관계를 포착할 수 있는 깊이 유도 트랜스포머 아키텍처가 단안 3D 객체 검출 성능 향상에 기여할 수 있는가?
• RQ2 오직 객체 수준의 깊이 감독만으로 예측된 전경 깊이 맵이 밀도 없는 깊이 애너테이션 없이 3D 검출을 얼마나 효과적으로 유도할 수 있는가?
• RQ3 깊이 유도 모듈이 플러그 앤 플레이 방식으로 다중 시점 3D 검출에 얼마나 효과적으로 일반화될 수 있는가?
• RQ4 깊이 인식 어텐션 통합이 BEV 기반 검출기인 BEVFormer 및 PETRv2의 특징 표현 학습을 향상시키는가?
• RQ5 다양한 깊이 표현 및 위치 인코딩 설계가 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• MonoDETR는 KITTI 테스트 세트에서 최고 성능을 기록하며, 각각 easy, moderate, hard 난이도 수준에서 2위 방법 대비 +2.53%, +1.08%, +0.85% 향상됨.
• 깊이 교차 어텐션을 갖춘 깊이 유도 디코더로 인해 객체 쿼리가 이미지 전반에 걸쳐 먼 거리의 깊이 관련 영역에 주목할 수 있으며, 이는 주로 어텐션 맵에서 이미지 전역에 걸쳐 퍼짐을 통해 시각화됨.
• nuScenes 벤치마크에서 깊이 유도 모듈은 PETRv2에 +1.2% NDS, BEVFormer에 +0.9% NDS 향상으로 기여하여 다중 시점 검출에 대한 강력한 일반화 능력 입증.
• 절단 실험 결과, 탈리어블드 자기 어텐션을 갖춘 깊이 인코더가 직접 특징을 입력하는 것보다 성능이 뛰어나며, 깊이 특징이 적절히 인코딩된 경우 최고 성능 기록.
• 균일한 이산화(예: k-bin)를 적용한 전경 깊이 맵이 가장 높은 성능 기록하며, 미터 단위 임베딩을 사용한 깊이 위치 인코딩이 사인파 또는 2D 사인파 인코딩보다 더 효과적임.
• 균일, 증가, 선형 증가 이산화를 포함한 다양한 깊이 표현 설계에서 일관된 성능 향상 기록되며, 전경 깊이 맵이 가장 효과적인 것으로 확인됨.