[논문 리뷰] Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving

Yuxuan Liu|arXiv (Cornell University)|2024. 03. 04.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 박사학위 논문은 자율주행을 위한 확장 가능한 비전 기반 3D 인식 방법을 제안하며, 기하학적 사전 지식을 통합한 개선된 단안 및 스테레오 3D 검출 및 새로운 비지도 깊이 추정 파이프라인(FSNet)을 도입한다. 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, 3D 애너테이션 없이도 제로샷 전이가 가능하여 LiDAR 없이도 실제 도로 주행 환경 및 360° 카메라 데이터에서 뛰어난 강인성을 입증한다.

ABSTRACT

This dissertation is a multifaceted contribution to the advancement of vision-based 3D perception technologies. In the first segment, the thesis introduces structural enhancements to both monocular and stereo 3D object detection algorithms. By integrating ground-referenced geometric priors into monocular detection models, this research achieves unparalleled accuracy in benchmark evaluations for monocular 3D detection. Concurrently, the work refines stereo 3D detection paradigms by incorporating insights and inferential structures gleaned from monocular networks, thereby augmenting the operational efficiency of stereo detection systems. The second segment is devoted to data-driven strategies and their real-world applications in 3D vision detection. A novel training regimen is introduced that amalgamates datasets annotated with either 2D or 3D labels. This approach not only augments the detection models through the utilization of a substantially expanded dataset but also facilitates economical model deployment in real-world scenarios where only 2D annotations are readily available. Lastly, the dissertation presents an innovative pipeline tailored for unsupervised depth estimation in autonomous driving contexts. Extensive empirical analyses affirm the robustness and efficacy of this newly proposed pipeline. Collectively, these contributions lay a robust foundation for the widespread adoption of vision-based 3D perception technologies in autonomous driving applications.

연구 동기 및 목표

• 고비용 LiDAR 애너테이션 데이터에 대한 의존도를 줄임으로써 자율주행에서 비전 기반 3D 인식의 확장성과 데이터 효율성 문제를 해결한다.
• 지면 기반 기하학적 사전 지식과 정교화된 네트워크 아키텍처를 통합하여 단안 3D 객체 검출 정확도를 향상시킨다.
• 단안 모델로부터의 지식 distillation과 효율적인 다중 척도 특징 융합을 통해 스테레오 3D 검출 성능을 향상시킨다.
• 2D 및 3D 애너테이션 데이터를 동시에 활용하는 통합 학습 전략을 설계하여 모델의 일반화 능력과 실용적 구현 가능성을 향상시킨다.
• 이미지 시퀀스와 자세 사전 지식을 활용한 비지도 전역 깊이 추정 파이프라인을 개발하여 페르스펙티브 및 파인아이즈 카메라에서 높은 성능을 달성한다.

제안 방법

• 3D 앵커에서 유도된 기하학적 사전 지식을 인코딩하는 지면 인식 컨볼루션 모듈을 도입하여 단안 3D 검출 정확도를 향상시킨다.
• 밀도 연결된 고스트 모듈과 계층적 다중 척도 융합을 활용한 경량 비용 볼륨을 설계하여 효율적인 스테레오 특징 추출을 구현한다.
• 카메라 파라미터와 클래스 분포 이탈을 고려한 선택적 학습 전략을 도입하여 모델이 다양한 데이터셋에 적응하도록 한다.
• 재구성 손실과 광학 흐름 마스크를 활용한 자기-디스틸리케이션 기반 비지도 깊이 추정 프레임워크인 FSNet을 제안한다.
• 자세 사전 지식을 직접 네트워크 입력에 통합하고 최적화 기반 후처리를 적용하여 실시간으로 깊이 예측을 정밀하게 보정한다.
• 다중 채널 출력과 보조 디스패리 감독을 활용하여 별도의 PoseNet이 필요 없이도 학습 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 장면의 지면 평면에서 유도된 기하학적 사전 지식을 어떻게 단안 3D 검출에 통합할 수 있는가?
• RQ2 단안 네트워크에서 유도된 구조적 통찰을 통해 스테레오 3D 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ3 2D 및 3D 애너테이션 데이터를 통합하는 통합 학습 전략이 다양한 데이터셋 간 모델 일반화 능력을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ4 이미지 시퀀스 자세와 재구성 손실을 활용한 비지도 깊이 추정 파이프라인이 실제 자율주행 환경에서 얼마나 효과적인가?
• RQ5 제안된 방법들이 LiDAR 없이도 임베디드 시스템에서 높은 품질의 3D 인식을 수행할 수 있는가, 특히 360° 파인아이즈 카메라에서도 성능을 유지를 할 수 있는가?

주요 결과

• 기하학적 사전 지식을 통합한 제안된 단안 3D 검출기는 KITTI, nuScenes, Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 단안 모델에서 유도된 지식과 다중 척도 융합을 활용한 스테레오 3D 검출 프레임워크는 정확도와 추론 효율성을 동시에 향상시킨다.
• 통합 학습 전략은 강력한 제로샷 일반화 성능을 보이며, 3D 애너테이션이 전혀 없는 자체 수집 데이터에서도 고성능 예측을 생성한다.
• FSNet 프레임워크는 공개 벤치마크에서 경쟁력 있는 깊이 추정 성능을 달성하며, 파인아이즈 및 360° 카메라 데이터에서도 강인성을 입증한다.
• 최종 시스템은 임베디드 플랫폼에서 실시간으로 LiDAR 없이 3D 인식을 수행할 수 있으며, 자율주행에서 비전 기반 3D 인식의 실현 가능성을 입증한다.
• 절단 분석 결과, FSNet 내 각 구성 요소, 특히 자기-디스틸리케이션과 광학 흐름 마스크의 효과가 입증되었으며, 특히 동적 환경 처리에서 뛰어난 성능을 보인다.