[논문 리뷰] 3D Object Detection from Images for Autonomous Driving: A Survey

Xinzhu Ma, Wanli Ouyang외 2명|arXiv (Cornell University)|2022. 02. 07.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 종합 검토는 자율 주행을 위한 영상 기반 3D 객체 검출 분야에서 처음으로 2015–2021년 사이에 발표된 200편 이상의 논문을 종합적으로 분석한다. 최신 기법들을 체계적으로 정리하기 위해 두 가지 새로운 분류 체계를 제안하며, 특징 추출 및 손실 함수와 같은 핵심 구성 요소를 분석하고, 도메인 이동 하에서의 일반화 문제와 완전히 지도 학습에 의존하는 문제점을 밝혀내며, 자기지도 학습 및 사전 학습 기반 접근법을 위한 방향을 제시한다.

ABSTRACT

3D object detection from images, one of the fundamental and challenging problems in autonomous driving, has received increasing attention from both industry and academia in recent years. Benefiting from the rapid development of deep learning technologies, image-based 3D detection has achieved remarkable progress. Particularly, more than 200 works have studied this problem from 2015 to 2021, encompassing a broad spectrum of theories, algorithms, and applications. However, to date no recent survey exists to collect and organize this knowledge. In this paper, we fill this gap in the literature and provide the first comprehensive survey of this novel and continuously growing research field, summarizing the most commonly used pipelines for image-based 3D detection and deeply analyzing each of their components. Additionally, we also propose two new taxonomies to organize the state-of-the-art methods into different categories, with the intent of providing a more systematic review of existing methods and facilitating fair comparisons with future works. In retrospect of what has been achieved so far, we also analyze the current challenges in the field and discuss future directions for image-based 3D detection research.

연구 동기 및 목표

• 자율 주행을 위한 영상 기반 3D 객체 검출에 특화된 체계적이고 최신의 종합 검토가 부족한 문제를 해결하기 위해.
• 2015–2021년 사이에 급격히 증가한 연구 성과(200편 이상)를 체계적이고 비교 가능한 방식으로 정리하고 분석하기 위해.
• 검출 프레임워크 기반 및 입력 데이터 기반 두 가지 새로운 분류 체계를 제안하여 기존 기법들의 명확한 분류와 공정한 성능 비교를 가능하게 하기 위해.
• 영상 기반 3D 검출기에서 특징 추출, 손실 함수, 후처리와 같은 핵심 기술 구성 요소를 식별하고 분석하기 위해.
• 열려 있는 과제를 규명하고, 자기지도 학습, 사전 학습, 도메인 이동 하에서의 개선된 일반화 성능 등 향후 연구 방향을 제안하기 위해.

제안 방법

• 저자는 2015년부터 2021년까지 발표된 영상 기반 3D 객체 검출 분야의 200편 이상의 논문을 대상으로 체계적인 문헌 검토를 수행하였으며, 주요 국제 학술 회의 및 저널에 중점을 두었다.
• 두 가지 새로운 분류 체계를 제안한다: 하나는 고수준 검출 프레임워크 기반(예: 이단계, 일단계, 트랜스포머 기반)이며, 다른 하나는 입력 데이터 기반(예: 단안, 스테레오, 다중 시점 영상)이다.
• 3D 검출기의 핵심 구성 요소를 분석한다: 백본 네트워크, 특징 추출, 깊이 추정, 3D 박스 회귀, 손실 함수(예: 분류 및 회귀 손실) 등.
• 데이터셋(예: nuScenes, KITTI), 평가 지표(예: mAP, mATE), 보조 입력 사용(예: 깊이 감독, LiDAR 편의 레이블)을 평가하고 비교한다.
• 완전히 지도 학습의 한계를 분석하고, 특히 기하학적 일致성과 가역 렌더링을 활용한 자기지도 학습 및 약한 지도 학습 대안을 권장한다.
• NLP 및 2D 시각에서의 사전 학습 기법(예: MoCo, BERT 스타일)이 2D 및 3D 시각 분야에서 어떻게 활용될 수 있는지 탐색하며, 자원이 부족하거나 도메인 이동이 발생하는 상황에서 성능 향상을 기대할 수 있다.

실험 결과

연구 질문

• RQ1 영상 기반 3D 객체 검출 분야에서 급격히 증가하는 연구 성과는 어떻게 체계적으로 정리하고 비교할 수 있는가?
• RQ2 최신 기술에서 주로 사용되는 아키텍처 프레임워크와 입력 데이터 유형은 무엇인가?
• RQ3 특징 추출, 손실 함수 등 성능에 가장 큰 영향을 미치는 핵심 기술 구성 요소는 무엇인가?
• RQ4 기존 방법들이 기상 조건이나 새로운 데이터셋 등 다양한 환경에서 일반화에 어려움을 겪는 이유는 무엇인가?
• RQ5 학습 과정에서 고비용 3D 경계 상자 레이블에 의존도를 줄이기 위한 가장 유망한 방향은 무엇인가?

주요 결과

• 이 검토는 2015년부터 2021년까지 발표된 80개 이상의 영상 기반 3D 검출기와 200편 이상의 연관 연구를 식별하여 분야의 급격한 성장을 입증한다.
• 대부분의 현재 기법은 정밀한 3D 경계 상자 레이블에 크게 의존하는 완전히 지도 학습 기반이며, 특히 장거리 객체의 경우 비용이 많이 들고 오류가 발생하기 쉬운 편이다.
• 비교적 새로운 데이터셋이나 악천후 조건(예: 야간, 비 오는 날씨)에서 일반화 성능이 크게 떨어지며, 주로 카메라 고유의 특성과 데이터셋 고유의 객체 사전 지식 때문인 것으로 분석된다.
• 가역 렌더링과 프레임 간 기하학적 일치성을 활용한 자기지도 학습 또는 약한 지도 학습 기반 학습 방식이 레이블 의존도를 줄이는데 유망한 가능성을 보이고 있다.
• NLP 및 2D 시각에서의 사전 학습 기법(예: BERT, MoCo)은 이 분야에서는 아직 탐색이 부족한 분야이지만, 자원이 부족하거나 도메인 이동이 발생하는 상황에서 성능 향상에 크게 기여할 수 있다.
• 표준화된 벤치마크와 평가 프로토콜의 부재로 공정한 비교가 어렵고, 저자는 더 체계적인 보고 및 공동 프로젝트 자원 공유(예: GitHub 페이지)를 권장한다.