[논문 리뷰] Deep Active Learning for Efficient Training of a LiDAR 3D Object Detector

Di Feng, Wei Xiao외 3명|arXiv (Cornell University)|2019. 01. 29.

Advanced Neural Network Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 자율 주행에서 LiDAR 3D 객체 검출을 위한 최소한의 인간 레이블링을 달성하기 위해 2D 이미지 영역 제안을 활용하여 검색 공간을 줄이고 정보성 높은 샘플을 우선순위화함으로써, 깊이 있는 활성 학습 프레임워크를 제안한다. MC-dropout 및 딥 앙상블을 통한 불확실성 추정을 통해 질의 선택을 유도함으로써, 검출기 성능을 유지하면서도 최대 60%의 레이블링 감소를 달성한다.

ABSTRACT

Training a deep object detector for autonomous driving requires a huge amount of labeled data. While recording data via on-board sensors such as camera or LiDAR is relatively easy, annotating data is very tedious and time-consuming, especially when dealing with 3D LiDAR points or radar data. Active learning has the potential to minimize human annotation efforts while maximizing the object detector's performance. In this work, we propose an active learning method to train a LiDAR 3D object detector with the least amount of labeled training data necessary. The detector leverages 2D region proposals generated from the RGB images to reduce the search space of objects and speed up the learning process. Experiments show that our proposed method works under different uncertainty estimations and query functions, and can save up to 60% of the labeling efforts while reaching the same network performance.

연구 동기 및 목표

• 자율 주행에서 객체 검출을 위한 3D LiDAR 포인트 클라우드 레이블링과 관련된 높은 인간 레이블링 비용을 줄이기 위해.
• 높은 검출 성능를 달성하기 위해 필요한 레이블링된 학습 샘플 수를 최소화하기 위해.
• 사전 훈련된 검출기로부터 유도된 2D 이미지 객체 제안을 활용하여 3D 레이블링을 가속화하고 단순화하기 위해.
• 활성 학습에서 불확실성 추정 방법(예: MC-dropout, 딥 앙상블)을 평가하고 비교하기 위해.
• 불확실성 기반 질의 전략이 이상적이고 현실적인 환경 모두에서 효과적으로 작용하는지 입증하기 위해.

제안 방법

• 2D 영역 제안을 사용하여 3D LiDAR 공간에서 프루스트럼을 정의함으로써 객체 탐색 범위를 좁힘.
• 공유된 네트워크 레이어에서 특징 추출을 공유하는 방식으로 2D 제안과 LiDAR 포인트 클라우드를 조합하여 3D 객체 검출기 훈련.
• 몬테카를로 드롭아웃과 딥 앙상블을 통해 예측 불확실성 추정을 수행하여 미레이블링 샘플의 정보성 정도를 정량화.
• 엔트로피와 불확실성 점수 기반 질의 함수를 구현하여 인간 레이블링을 위해 가장 정보성 높은 미레이블링 샘플을 선택.
• 각 레이블링 라운드 후 검출기를 반복적으로 재훈련하고, 새로 레이블링된 데이터로 학습 세트를 업데이트.
• 두 가지 설정에서 방법을 검증: '완벽한' 인간 제공 제안과 사전 훈련된 이미지 검출기에서 유도된 제안

실험 결과

연구 질문

• RQ1 활성 학습이 3D LiDAR 객체 검출의 레이블링 노력과 성능을 유지하면서도 상당한 레이블링 감소를 이룰 수 있는가?
• RQ2 다양한 불확실성 추정 기법(예: MC-dropout, 딥 앙상블)이 정보성 높은 샘플 선택을 유도하는 데 얼마나 효과적인가?
• RQ3 2D 이미지 제안을 사용할 경우 3D 객체 검출의 레이블링 효율성과 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 불확실성 기반 질의 선택 전략이 분류 정확도와 정렬 정밀도를 동시에 향상시키는가?
• RQ5 사전 훈련된 이미지 검출기를 사용할 경우, 완벽한 제안이 아닌 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 활성 학습 방법은 동일한 검출 성능를 유지하면서도 최대 60%의 레이블링 노력 감소를 달성한다.
• 단일 소프트맥스 출력보다 MC-dropout와 딥 앙상블이 더 신뢰할 수 있는 불확실성 추정을 제공하여 더 나은 활성 학습 성능를 이끌어낸다.
• 사전 훈련된 이미지 검출기를 사용할 경우에도 랜덤 샘플링 기반 베이스라인보다 분류 및 정렬 작업 모두에서 성능이 뛰어나며, '작은 차량' 및 '인간' 클래스에서 각각 91.7%와 86.2%의 리콜률 기록.
• 불확실성 기반 질의 함수는 인식 정확도와 정렬에 대한 평균 제곱오차를 모두 향상시켜 분류 헤드와 회귀 헤드 간의 공유된 특징 학습이 이루어지고 있음을 시사한다.
• 3D 검출기의 성능은 2D 이미지 제안의 품질에 매우 민감하게 영향을 받으며, 이는 강력한 제안 생성 기술의 필요성을 강조한다.
• 이론적(완벽한 제안)과 현실적(사전 훈련된 검출기) 환경 모두에서 이 방법이 효과적이며, 실용적 적용 가능성을 입증한다.