[논문 리뷰] Exploring Diversity-based Active Learning for 3D Object Detection in Autonomous Driving

Lin, Jinpeng, Zhihao Liang외 6명|arXiv (Cornell University)|2022. 05. 16.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 자율주행에서 3D 객체 검출을 위한 다양성 기반 활성 학습 방법을 제안하며, GPS/IMU 데이터를 활용해 공간적 및 시간적 다양성을 기반으로 정보성 있는 샘플을 선택한다. 실질적인(annotation) 비용 설정 조건에서, 프레임 및 3D 경계상자(annotation) 비용을 모두 고려할 때, 불확실성 기반 및 무작위 샘플링보다 우수한 성능을 보이며, nuScenes에서 최신 기술 수준의 성능을 달성한다. 이는 샘플 효율성이 향상되고 콜드스타트 문제도 감소시킨다.

ABSTRACT

3D object detection has recently received much attention due to its great potential in autonomous vehicle (AV). The success of deep learning based object detectors relies on the availability of large-scale annotated datasets, which is time-consuming and expensive to compile, especially for 3D bounding box annotation. In this work, we investigate diversity-based active learning (AL) as a potential solution to alleviate the annotation burden. Given limited annotation budget, only the most informative frames and objects are automatically selected for human to annotate. Technically, we take the advantage of the multimodal information provided in an AV dataset, and propose a novel acquisition function that enforces spatial and temporal diversity in the selected samples. We benchmark the proposed method against other AL strategies under realistic annotation cost measurement, where the realistic costs for annotating a frame and a 3D bounding box are both taken into consideration. We demonstrate the effectiveness of the proposed method on the nuScenes dataset and show that it outperforms existing AL strategies significantly. Code is available at https://github.com/Linkon87/Exploring-Diversity-based-Active-Learning-for-3D-Object-Detection-in-Autonomous-Driving

연구 동기 및 목표

• 대규모 인간 레이블이 필요한 데이터셋에 대한 의존도를 줄임으로써 자율주행에서 3D 객체 검출의 높은 annotation 비용 문제를 해결한다.
• 기존 활성 학습 방법의 한계, 특히 다양성 기반 전략 부족과 현실적인 비용 모델링 부족 문제를 해결한다.
• 모델 아키텍처나 특징 추출기 품질에 관계없이 모든 3D 검출기에 적용 가능한 일반화 가능한 할당 함수를 개발한다.
• 모델 예측에 의존하지 않고도 초기 배치 선택이 가능한 방식으로, 활성 학습의 콜드스타트 문제를 완화한다.
• 실제 비용 측정 방식을 반영한 활성 학습 평가 프레임워크를 제공한다. 이는 프레임 수준 및 인스턴스 수준의 annotation 비용을 모두 고려한다.

제안 방법

• GPS/IMU 데이터를 활용해 공간적 다양성을 강제하는 새로운 할당 함수를 제안하여 서로 다른 위치에서 샘플을 선택한다.
• 다양한 시점에서의 샘플을 선택함으로써 시간적 다양성을 도입하여 변화하는 시_scene 동적 특성과 객체 외관을 포괄한다.
• 초기 예산 이후에만 활성화되는 특징 기반 다양성(딥 페처를 사용)과 공간적·시간적 다양성을 조합한다. 이는 초기에 신뢰할 수 없는 특징을 피하기 위함이다.
• GPS 좌표 간 유클리드 거리와 다양체 거리를 사용해 공간적 다양성을 정의하며, 다각형 거리가 더 뛰어난 성능을 보였다.
• annotation 비용을 프레임 비용($c_f$)과 경계상자 비용($c_b$)의 가중합으로 모델링하여 다양한 비용 제도에서의 실질적인 평가를 가능하게 한다.
• 모델 예측에 의존하지 않고 공간적 및 시간적 다양성을 활용해 초기에 정보성 있는 배치를 선택할 수 있는 웜스타트 전략을 사용한다.

Figure 1: Distribution of samples selected by different active learning strategies and the corresponding performance - (a) Uncertainty, (b) Feature Diversity, (c) Temporal Diversity, (d) Spatial Diversity and (e) Combined Spatial and Temporal Diversity. (f) Performance curves on nuScenes. Colors rep

실험 결과

연구 질문

• RQ1 특히 공간적 및 시간적 차원에서 다양성 기반 활성 학습이 annotation 비용을 줄이며 3D 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 프레임 및 3D 경계상자 annotation 비용을 모두 고려한 현실적인 annotation 비용 모델링은 활성 학습 전략의 평가 및 순위 매기기에 어떤 영향을 미치는가?
• RQ3 제안된 할당 함수는 첫 번째 배치에 대해 모델 예측이 필요 없이 활성 학습의 콜드스타트 문제를 효과적으로 해결할 수 있는가?
• RQ4 성능 및 수렴 속도 측면에서 공간적, 시간적, 특징 기반 다양성 항목 간 최적의 트레이드오프는 무엇인가?
• RQ5 GPS/IMU 데이터의 위치 오차에 대해 제안된 방법은 얼마나 강인한가? 시간적 다양성과 특징 다양성은 이러한 제약 조건을 완화할 수 있는가?

주요 결과

• 제안된 공간+시간 다양성 방법은 4800비용 예산에서 nuScenes에서 44.85% mAP를 달성하며, 베이스라인(44.64%) 및 기타 모든 베이스라인을 능가한다.
• 공간적 다양성에 다각형 거리를 사용할 경우 4800비용에서 43.68% mAP를 기록하며, 유클리드 거리(42.98%)보다 0.7%p 높은 성능을 보였다.
• 1200비용의 웜업 이후에 특징 다양성을 활성화할 경우 최고의 성능(4800비용에서 45.02% mAP)을 기록하여 특징 통합의 최적 타이밍을 확인하였다.
• 특징 다양성 가중치 $\lambda_f = 1$ 설정 시 최고의 성능(4800비용에서 45.02% mAP)을 달성하였으며, 이보다 높거나 낮은 값은 성능 저하를 초래했다.
• 모든 비용 측정 설정, 특히 가장 현실적인 설정($c_f=0.6, c_b=0.04$)에서도 불확실성 기반 및 무작위 샘플링보다 일관되게 뛰어난 성능을 보였다.
• 공간적 및 시간적 다양성을 활용해 모델 예측 없이도 고품질의 초기 배치를 선택함으로써 콜드스타트 문제를 완화하였으며, 이는 수렴 속도 향상과 장기적 성능 향상으로 이어졌다.

Figure 2: The proposed AL pipeline for 3D object detection. The spatial, temporal and feature diversity terms are complementary to each other.