[논문 리뷰] LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking

Bernie Wang, Virginia Wu외 2명|arXiv (Cornell University)|2019. 04. 19.

Advanced Neural Network Applications참고 문헌 21인용 수 8

한 줄 요약

LATTE는 센서 융합, 일클릭 3D 경계상자 생성 및 시간적 추적을 통해 레이블링을 가속화하는 오픈소스 LiDAR 포인트 클라우드 레이블링 도구입니다. 기준 레이블링 대비 6.2배 빠른 속도를 기록하며, 정밀도는 23.6% 향상되고, 재현율은 2.2% 향상되고, IoU는 2.0% 향상되어 효율성과 레이블 품질을 크게 향상시킵니다.

ABSTRACT

LiDAR (Light Detection And Ranging) is an essential and widely adopted sensor for autonomous vehicles, particularly for those vehicles operating at higher levels (L4-L5) of autonomy. Recent work has demonstrated the promise of deep-learning approaches for LiDAR-based detection. However, deep-learning algorithms are extremely data hungry, requiring large amounts of labeled point-cloud data for training and evaluation. Annotating LiDAR point cloud data is challenging due to the following issues: 1) A LiDAR point cloud is usually sparse and has low resolution, making it difficult for human annotators to recognize objects. 2) Compared to annotation on 2D images, the operation of drawing 3D bounding boxes or even point-wise labels on LiDAR point clouds is more complex and time-consuming. 3) LiDAR data are usually collected in sequences, so consecutive frames are highly correlated, leading to repeated annotations. To tackle these challenges, we propose LATTE, an open-sourced annotation tool for LiDAR point clouds. LATTE features the following innovations: 1) Sensor fusion: We utilize image-based detection algorithms to automatically pre-label a calibrated image, and transfer the labels to the point cloud. 2) One-click annotation: Instead of drawing 3D bounding boxes or point-wise labels, we simplify the annotation to just one click on the target object, and automatically generate the bounding box for the target. 3) Tracking: we integrate tracking into sequence annotation such that we can transfer labels from one frame to subsequent ones and therefore significantly reduce repeated labeling. Experiments show the proposed features accelerate the annotation speed by 6.2x and significantly improve label quality with 23.6% and 2.2% higher instance-level precision and recall, and 2.0% higher bounding box IoU. LATTE is open-sourced at https://github.com/bernwang/latte.

연구 동기 및 목표

• 낮은 해상도, 복잡한 3차원 레이블링 작업, 순차적 프레임 중복으로 인한 수동 LiDAR 포인트 클라우드 레이블링의 비효율성과 정확도 부족 문제를 해결하기 위해.
• 자율주행 차량 인식을 위한 희박하고 낮은 해상도의 LiDAR 포인트 클라우드 레이블링에 소요되는 레이블링 시간과 인간의 노력을 줄이기 위해.
• 이미지 기반 검출을 활용한 사전 레이블링과 최소한의 수동 조정을 통해 레이블 품질을 향상시키기 위해.
• 딥러닝을 위한 LiDAR 기반 검출에서 고품질 데이터셋을 확장 가능하게 만들기 위해 인간의 레이블링 부담을 줄이는 데 목적이 있습니다.
• 기존의 폐쇄형 레이블링 파이프라인을 초월해 맞춤형 LiDAR 센서와 설정을 지원하는 오픈소스이자 확장 가능한 도구를 제공하기 위해.

제안 방법

• 센서 융합: 캘리브레이션된 카메라 이미지에 사전 훈련된 이미지 기반 객체 검출기를 사용하여 초기 2D 검출을 생성하고, 이를 3D LiDAR 포인트 클라우드로 투영 및 전달하여 초기 3D 경계상자 제안을 생성합니다.
• 일클릭 레이블링: 사용자가 대상 객체를 한 번 클릭하기만 하면, 객체의 크기, 방향, 위치에 기반한 학습된 사전 모델을 사용해 자동으로 3D 경계상자를 생성합니다.
• 추적: 이전 프레임의 경계상자를 연속된 프레임으로 전파하는 추적 알고리즘을 구현하여 시간적으로 상관관계가 있는 데이터에서 중복 레이블링을 줄입니다.
• 상호작용 보정: 센서 융합, 일클릭 생성 또는 추적에서 생성된 사전 레이블링 박스를 인간 레이블러가 최소한의 상호작용으로 확인하고 조정할 수 있도록 합니다.
• 통합 파이프라인: 세 기능을 통합된 레이블링 워크플로우로 결합합니다 — 센서 융합을 통한 초기 검출, 빠른 레이블링을 위한 일클릭, 그리고 프레임 간 일致성 확보를 위한 추적.
• 평가 프레임워크: IoU, 정밀도, 재현율, 레이블링 시간, 인스턴스당 작업 수를 측정하기 위해 진짜 레이블과 KITTI 데이터셋 레이블을 사용합니다.

실험 결과

연구 질문

• RQ1 캘리브레이션된 카메라와 LiDAR 간의 센서 융합이 희박한 포인트 클라우드에서 객체 인식과 레이블링 속도를 향상시키는가?
• RQ2 수동 3D 상자 그림기법에 비해 일클릭 3D 경계상자 생성이 레이블링 시간과 노력에 얼마나 기여하는가?
• RQ3 순차적 데이터에서 연속된 LiDAR 프레임 간 중복 레이블링을 줄이기 위해 추적 기술이 얼마나 효과적인가?
• RQ4 센서 융합, 일클릭 레이블링, 추적의 병합된 영향이 레이블링 속도, 정확도, 레이블 품질에 미치는 영향은 무엇인가?
• RQ5 제안된 도구가 레이블링 작업 수를 줄이며 기준 수동 레이블링보다 더 높은 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• LATTE는 기준 수동 3D 상자 그림기법 대비 평균 인스턴스당 레이블링 시간을 9.51초에서 1.53초로 줄여 6.2배 빠른 속도를 기록합니다.
• 전체 기능을 갖춘 LATTE 구성은 인스턴스당 평균 레이블링 작업 수를 3.76에서 1.02로 줄여 3.7배 감소시킵니다.
• 기준 대비 인스턴스 수준 정밀도는 23.6% 향상되어 69.9%에서 93.5%로 상승했고, 재현율은 2.2% 향상되어 82.9%에서 85.1%로 상승했습니다.
• 진짜 레이블과의 평균 IoU는 85.5%에서 87.5%로 상승했고, KITTI 진짜 레이블과의 평균 IoU는 82.3%에서 84.7%로 상승하여 더 높은 레이블 품질을 나타냅니다.
• 센서 융합만으로도 IoU는 0.8% 향상되고, 재현율은 2.1% 향상되고, 정밀도는 14.0% 향상되어 객체 인식 보조에 효과적임을 입증합니다.
• 추적 기능만으로도 4.74배 빠른 속도를 기록하고 레이블링 일致성도 향상되어 순차적 프레임 간 중복 레이블링을 크게 줄입니다.