[논문 리뷰] Lidar Point Cloud Guided Monocular 3D Object Detection

Peng Liang, Fei Liu외 6명|arXiv (Cornell University)|2021. 04. 19.

Advanced Neural Network Applications참고 문헌 51인용 수 7

한 줄 요약

이 논문은 단일 레이저 라이다 포인트 클라우드를 활용하여 고품질의 가짜 3D 경계 상자 레이블을 생성하는 새로운 프레임워크인 LPCG를 제안한다. 이는 레이블링 비용을 크게 줄이며 성능을 햖थ기한다. 레이저 라이다 데이터의 정밀한 3D 측정치를 활용함으로써, 아키텍처 변경 없이도 단일 레이저 라이다 감지기의 훈련을 훨씬 확장된 데이터셋으로 가능하게 하며, KITTI 및 Waymo 벤치마크에서 기존 최고 성능를 달성한다. 레이블링 데이터의 10%만으로도 성능을 확보한다.

ABSTRACT

Monocular 3D object detection is a challenging task in the self-driving and computer vision community. As a common practice, most previous works use manually annotated 3D box labels, where the annotating process is expensive. In this paper, we find that the precisely and carefully annotated labels may be unnecessary in monocular 3D detection, which is an interesting and counterintuitive finding. Using rough labels that are randomly disturbed, the detector can achieve very close accuracy compared to the one using the ground-truth labels. We delve into this underlying mechanism and then empirically find that: concerning the label accuracy, the 3D location part in the label is preferred compared to other parts of labels. Motivated by the conclusions above and considering the precise LiDAR 3D measurement, we propose a simple and effective framework, dubbed LiDAR point cloud guided monocular 3D object detection (LPCG). This framework is capable of either reducing the annotation costs or considerably boosting the detection accuracy without introducing extra annotation costs. Specifically, It generates pseudo labels from unlabeled LiDAR point clouds. Thanks to accurate LiDAR 3D measurements in 3D space, such pseudo labels can replace manually annotated labels in the training of monocular 3D detectors, since their 3D location information is precise. LPCG can be applied into any monocular 3D detector to fully use massive unlabeled data in a self-driving system. As a result, in KITTI benchmark, we take the first place on both monocular 3D and BEV (bird's-eye-view) detection with a significant margin. In Waymo benchmark, our method using 10% labeled data achieves comparable accuracy to the baseline detector using 100% labeled data. The codes are released at https://github.com/SPengLiang/LPCG.

연구 동기 및 목표

• 완벽하게 레이블링된 3D 경계 상자 레이블이 단일 레이저 라이다 3D 감지에 필수적인가를 조사하는 것.
• 3D 경계 상자 레이블의 구성 요소(위치, 방향, 치수) 중 감지기 성능에 가장 큰 영향을 미치는 요소를 규명하는 것.
• 레이저 라이다 측정치의 정밀성을 활용하여 단일 레이저 라이다 3D 감지의 레이블링 비용을 줄이는 것.
• 아키텍처 수정 없이도 어떤 단일 레이저 라이다 3D 감지기라도 가짜로 레이블링된 레이저 라이다 포인인트 클라우드를 활용해 향상시킬 수 있는 즉시 사용 가능한 프레임워크를 개발하는 것.

제안 방법

• 프레임워크는 사전 훈련된 레이저 라이다 감지기(고정확도 모드) 또는 히우리스틱 클러스터링 및 경계 상자 추정 방법(저비용 모드)을 사용하여 레이블이 없는 레이저 라이다 포인트 클라우드에서 가짜 3D 경계 상자를 생성한다.
• 고정확도 모드에서는 작은 레이블이 있는 데이터셋으로 레이저 라이다 기반 감지기를 먼저 훈련시킨 후, 레이블이 없는 데이터에 대해 고품질의 가짜 레이블을 생성한다.
• 저비용 모드에서는 3D 경계 상자 레이블이 필요 없이 RoI(RoI, 관심 영역) 레이저 라이다 포인트 클라우드를 기반으로 포인트 클러스터링과 최소 경계 상자 추정을 통해 가짜 레이블을 생성한다.
• 생성된 가짜 레이블은 단일 레이저 라이다 3D 감지기의 훈련에 사용되며, 레이저 라이다 측정의 정밀성 덕분에 3D 위치 정보가 유지된다.
• 이 프레임워크는 어떤 단일 레이저 라이다 3D 감지기와도 호환되며, 아키텍처 수정 없이 원활하게 통합될 수 있다.
• 이 방법은 거대한 레이블이 없는 레이저 라이다 데이터를 활용한 대규모 자기지도 학습 프리트레이닝을 가능하게 하여, 수동 레이블링을 피하면서도 훈련 데이터를 크게 확장한다.

실험 결과

연구 질문

• RQ1 단일 레이저 라이다 3D 감지에 완벽하게 레이블링된 3D 경계 상자 레이블이 반드시 필요한가, 아니면 덜 정확한 레이블로도 충분한가?
• RQ2 3D 경계 상자 레이블의 구성 요소 중 위치, 방향, 치수 중에서 감지기 성능에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ3 레이블이 없는 레이저 라이다 포인트 클라우드를 효과적으로 활용하여 단일 레이저 라이다 3D 감지에 신뢰할 수 있는 가짜 레이블을 생성할 수 있는가?
• RQ4 레이저 라이다 데이터를 활용한 자기지도 프레임워크는 추가적인 레이블링 비용 없이도 단일 레이저 라이다 3D 감지 정확도를 향상시킬 수 있는가?

주요 결과

• 3D 경계 상자 레이블을 훼손하는 것(예: 무작위 이동)은 감지기 성능에 미미한 영향을 미치며, 완벽한 레이블링이 필수적이지 않음을 시사한다.
• 레이블의 3D 위치 구성 요소가 가장 중요한 요소이며, 깊이의 모호성으로 인해 단일 레이저 라이다 3D 감지의 주요 제약 요소이기 때문이다.
• Waymo 벤치마크에서 레이블링 데이터의 10%만을 사용하여 LPCG를 적용했을 때, 100% 레이블링 데이터로 훈련된 기준 모델과 유사한 성능을 달성한다.
• KITTI 벤치마크에서 LPCG는 단일 레이저 라이다 감지기를 최고 성능 수준으로 향상시키며, 단일 레이저 라이다 3D 감지 및 베이비 엔드 뷰(BEV) 감지 모두에서 1위를 기록한다.
• MonoGRNet, M3D-RPN, RTM3D, MonoFlex 등 다양한 단일 레이저 라이다 감지기에서 프레임워크가 일관되게 성능 향상을 이끌어내며, 중간 설정에서 최대 +14.36 AP3D (IoU=0.5) 및 +11.20 AP3D (IoU=0.7)의 향상을 기록한다.
• 레이저 라이다 기반의 단순한 단일 레이저 라이다 감지기(ResNet18 백본)도 LPCG를 적용함으로써 더 복잡한 모델과 유사한 성능을 달성하며, 이는 프레임워크의 강건성과 확장성의 증거이다.