[논문 리뷰] MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer

Kuan‐Chih Huang, Tsung-Han Wu외 2명|arXiv (Cornell University)|2022. 03. 21.

Advanced Neural Network Applications인용 수 10

한 줄 요약

MonoDTR는 사전 학습된 깊이 추정기 없이 보조 지도 학습을 통해 깊이 인식 특징을 학습하는 깊이 인식 트랜스포머 네트워크를 사용하는 엔드 투 엔드 단안 3D 객체 검출 프레임워크를 제안한다. 이는 경량의 깊이 인식 특징 강화(DFE) 모듈과 새로운 깊이 위치 인코딩(DPE)을 갖춘 깊이 인식 트랜스포머(DTR)를 도입하여 KITTI에서 최신 기술 수준의 성능을 달성하며 실시간 추론을 구현한다.

ABSTRACT

Monocular 3D object detection is an important yet challenging task in autonomous driving. Some existing methods leverage depth information from an off-the-shelf depth estimator to assist 3D detection, but suffer from the additional computational burden and achieve limited performance caused by inaccurate depth priors. To alleviate this, we propose MonoDTR, a novel end-to-end depth-aware transformer network for monocular 3D object detection. It mainly consists of two components: (1) the Depth-Aware Feature Enhancement (DFE) module that implicitly learns depth-aware features with auxiliary supervision without requiring extra computation, and (2) the Depth-Aware Transformer (DTR) module that globally integrates context- and depth-aware features. Moreover, different from conventional pixel-wise positional encodings, we introduce a novel depth positional encoding (DPE) to inject depth positional hints into transformers. Our proposed depth-aware modules can be easily plugged into existing image-only monocular 3D object detectors to improve the performance. Extensive experiments on the KITTI dataset demonstrate that our approach outperforms previous state-of-the-art monocular-based methods and achieves real-time detection. Code is available at https://github.com/kuanchihhuang/MonoDTR

연구 동기 및 목표

• 정확도가 떨어지는 깊이 사전 지식과 높은 계산 비용을 야기하는 기존의 깊이 보조 단안 3D 검출 방법의 한계를 해결한다.
• 추론 시 사전 학습된 깊이 추정기의 필요 없이 암묵적으로 깊이 인식 특징을 학습하는 경량의 엔드 투 엔드 프레임워크를 개발한다.
• 트랜스포머 기반 아키텍처를 통해 전역적으로 맥락 및 깊이 인식 특징을 융합하여 3D 객체 검출 성능을 향상시킨다.
• 3D 객체 검출에서 깊이 인식 공간 관계를 더 잘 표현하기 위해 새로운 깊이 위치 인코딩(DPE)을 도입한다.
• 기존의 이미지 전용 단안 3D 검출기와의 호환성과 성능 향상을 보장한다.

제안 방법

• 학습 중에 보조 깊이 지도를 사용하여 깊이 인식 특징을 학습하는 깊이 인식 특징 강화(DFE) 모듈을 제안하며, 외부 깊이 추정기 의존도를 회피한다.
• 트랜스포머 인코더-디코더 구조를 활용해 맥락 인식 특징과 깊이 인식 특징을 전역적으로 주시하고 융합하는 깊이 인식 트랜스포머(DTR) 모듈을 도입한다.
• 트랜스포머에 깊이 인식 위치 정보를 주입하는 새로운 깊이 위치 인코딩(DPE)을 설계하여 표준 픽셀 기반 위치 인코딩보다 3D 정렬 성능을 향상시킨다.
• 딥러닝 디코더의 입력 쿼리로 깊이 인식 특징을 사용하여 3D 추론 및 객체 정렬 정확도를 향상시킨다.
• 깊이 지도가 학습 중에만 적용되는 다단계 학습 전략을 사용하여 추론 시 깊이 추정 오버헤드 없이 실시간 추론을 가능하게 한다.
• 기존의 이미지 전용 단안 3D 검출기의 검출 헤드를 제안된 DFE 및 DTR 모듈로 교체함으로써 플러그 앤 플레이 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 학습된 깊이 추정기 의존도 없이 깊이 인식 특징을 효과적으로 학습할 수 있는가? 이는 계산 비용 감소와 오류 전파 감소에 기여하는가?
• RQ2 기존의 컨볼루션 기반 융합 방식과 비교해 트랜스포머 기반 융합 메커니즘이 맥락 및 깊이 인식 특징을 3D 검출에 통합하는 데 어떻게 성능을 높이는가?
• RQ3 3D 객체 검출 작업에서 표준 위치 인코딩(예: 사인파, 절대 위치)보다 깊이 인식 위치 인코딩(DPE)이 우수한가?
• RQ4 제안된 깊이 인식 모듈이 기존의 이미지 전용 단안 3D 검출기와 통합되었을 때 성능 향상 수준은 어느 정도인가?
• RQ5 제안된 프레임워크는 KITTI와 같은 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• MonoDTR는 KITTI 3D 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 차량 카테고리의 하드 세트에서 IoU=0.7 기준 24.52%의 AP3D@IoU=0.7를 기록했다.
• 제안된 DPE는 모든 기준 위치 인코딩보다 뛰어난 성능을 보였으며, CPE 기반 24.34%와 APE 기반 23.85% 대비 24.52%의 AP3D@IoU=0.7(하드) 성능을 달성했다.
• M3D-RPN, GAC, MonoDLE에 통합했을 때, 하드 세트에서 AP3D@IoU=0.7가 최대 +6.43% 향상되어 강력한 일반화 능력과 호환성을 입증했다.
• 실시간 추론 속도를 확보하여 실세계 자율 주행 응용 분야에서 실용적임을 입증했다.
• 정성적 결과 분석에서 MonoDTR의 예측 결과는 특히 먼 곳에 있거나 가려진 객체에서 실제값에 훨씬 가까운 경향을 보였다.
• 제거 실험 결과 DFE 및 DTR 모듈이 성능 향상에 크게 기여하며, DPE는 모든 설정에서 일관된 성능 향상을 제공하는 것으로 확인되었다.