[논문 리뷰] 3D for Free: Crossmodal Transfer Learning using HD Maps

Benjamin Wilson, Zsolt Kira외 1명|arXiv (Cornell University)|2020. 08. 24.

Advanced Neural Network Applications참고 문헌 40인용 수 8

한 줄 요약

이 논문은 2D 인스턴스 세그멘테이션과 고해상도(HD) 지ap을 활용하여 레이저 라이다와 이미지 데이터에서 레이블이 없는 3D 객체 경계 상자를 자가 레이블링하는 교차모달 전이 학습 방법을 제안한다. 이로 인해 인간이 레이블링한 3D 레이블이 필요 없어지며, Argoverse 데이터셋에서 최신 기술 수준의 3D 검출 성능을 달성한다. 이는 1,151개의 레이블이 없는 주행 로그와 HD 지도 제약 조건을 활용하여 형상 사전 지식과 차선 기하학을 통해 3D 팽창을 이끌어내는 방식으로, 완전히 감독 학습된 모델보다 뛰어난 성능을 내고 있다.

ABSTRACT

3D object detection is a core perceptual challenge for robotics and autonomous driving. However, the class-taxonomies in modern autonomous driving datasets are significantly smaller than many influential 2D detection datasets. In this work, we address the long-tail problem by leveraging both the large class-taxonomies of modern 2D datasets and the robustness of state-of-the-art 2D detection methods. We proceed to mine a large, unlabeled dataset of images and LiDAR, and estimate 3D object bounding cuboids, seeded from an off-the-shelf 2D instance segmentation model. Critically, we constrain this ill-posed 2D-to-3D mapping by using high-definition maps and object size priors. The result of the mining process is 3D cuboids with varying confidence. This mining process is itself a 3D object detector, although not especially accurate when evaluated as such. However, we then train a 3D object detection model on these cuboids, consistent with other recent observations in the deep learning literature, we find that the resulting model is fairly robust to the noisy supervision that our mining process provides. We mine a collection of 1151 unlabeled, multimodal driving logs from an autonomous vehicle and use the discovered objects to train a LiDAR-based object detector. We show that detector performance increases as we mine more unlabeled data. With our full, unlabeled dataset, our method performs competitively with fully supervised methods, even exceeding the performance for certain object categories, without any human 3D annotations.

연구 동기 및 목표

• COCO와 같은 2D 데이터셋의 광범위한 클래스 커버리지를 활용하여 3D 객체 검출에서의 긴 꼬리 문제를 해결하고자 한다.
• 비용이 많이 드는 인간이 레이블링한 3D 데이터에 대한 의존도를 줄이기 위해, 레이블이 없는 다중모달 주행 데이터에서 자가학습 기반 3D 상자 탐색을 가능하게 하고자 한다.
• 2D 인스턴스 세그멘테이션과 HD 지도 사전 지식을 활용하여 희귀 객체 카테고리에 대한 검출 정확도를 향상시키고자 한다.
• 노이즈가 있는 자가 생성된 3D 지도 정보가 HD 지도와 형상 사전 지식 제약 조건 하에서 여전히 높은 정확도의 3D 검출기를 훈련시킬 수 있음을 입증하고자 한다.

제안 방법

• 자율주행 차량 로그의 동기화된 카메라 이미지에 대해 COCO 가중치를 미리 학습한 CenterMask 모델을 사용하여 2D 인스턴스 세그멘테이션을 수행한다.
• 기하학적 투영을 통해 2D 인스턴스 마스크를 3D 레이저 라이다 공간으로 역투영하며, 방향성 모호성을 해결하기 위해 HD 지도의 차선 기하학에 제약을 둔다.
• 객체 형상 사전 지식과 도는 캘리퍼스(rotating calipers)를 적용하여 3D 상자 치수를 정밀하게 보정하고 실제 세계의 객체 기하학과의 일치도를 향상시킨다.
• HD 지도에서 유도된 차선 세그먼트를 사용하여 객체 방향을 추정함으로써 2D에서 3D로의 변환 과정에서의 모호성을 줄인다.
• 겹치거나 중복된 상자를 통합하기 위해 비최대 억제(NMS)를 적용하여 최종 3D 객체 제안을 생성한다.
• 자기 레이블링된 상자에 대해 레이저 라이다 기반 3D 검출기(CBGS)를 미세조정하며, 일반화 능력을 향상시키기 위해 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 2D 인스턴스 세그멘테이션 모델과 HD 지도를 조합하여 경쟁력 있는 3D 검출기를 훈련시킬 수 있을 정도로 정확한 3D 객체 제안을 생성할 수 있는가?
• RQ2 3D 레이블이 부족한 상황에서 2D 검출에서 3D 검출로의 교차모달 전이 학습이 완전히 감독된 3D 훈련보다 더 높은 성능을 내는가?
• RQ3 객체 형상 사전 지식과 HD 지도 기반 차선 기하학이 2D에서 3D로의 팽창 과정에서의 모호성을 상당히 줄일 수 있는가?
• RQ4 노이즈가 있는 자가 레이블링된 3D 데이터를 사용하더라도, 탐색 과정 자체와 비교해도 3D 검출 성능이 향상되는가?

주요 결과

• 이 방법은 인간의 3D 레이블링 없이 2D 인스턴스 세그멘테이션과 HD 지도 사전 지식만을 사용하여 1,151개의 레이블이 없는 주행 로그에서 3D 상자를 자가 레이블링하였다.
• 결과적으로 생성된 3D 검출기는 Argoverse 데이터셋에서 최신 기술 수준의 mAP 성능을 달성하였으며, 완전히 레이블링된 Argoverse 훈련 세트로 훈련된 모델을 초월하였다.
• 버스나 자전거와 같은 희귀 카테고리에 대해서는 자가학습 모델이 완전히 감독된 베이스라인을 능가하는 성능을 보이며, 긴 꼬리 클래스에 대한 일반화 능력 향상을 입증하였다.
• 평균 방향 오차(mAOE)는 도는 캘리퍼스를 사용한 경우 1.21 라디안에서 HD 지도 유도 팽창을 사용한 경우 0.79 라디안으로 감소하여 지도 제약 조건의 효과를 입증하였다.
• 채굴된 레이블이 없는 데이터의 양이 증가할수록 검출기 성능이 단조롭게 향상되어 이 방법의 확장성과 타당성을 확인하였다.
• 감독 학습 기반 베이스라인 대비 훈련 데이터를 30% 줄여도 경쟁 가능한 성능을 달성하여 데이터 효율성의 우수성을 입증하였다.