[논문 리뷰] Auto4D: Learning to Label 4D Objects from Sequential Point Clouds

Bin Yang, Min Bai외 3명|arXiv (Cornell University)|2021. 01. 17.

Advanced Neural Network Applications참고 문헌 42인용 수 25

한 줄 요약

Auto4D는 문제를 고정 객체 크기 추정과 전체 트랙에 걸친 모션 경로 정제를 통해 고품질의 4D(3D+시간) 차량 라벨을 자동으로 생성하며, 전체 주석 작업의 인간 노력을 최대 25%까지 감소시킵니다.

ABSTRACT

In the past few years we have seen great advances in object perception (particularly in 4D space-time dimensions) thanks to deep learning methods. However, they typically rely on large amounts of high-quality labels to achieve good performance, which often require time-consuming and expensive work by human annotators. To address this we propose an automatic annotation pipeline that generates accurate object trajectories in 3D space (i.e., 4D labels) from LiDAR point clouds. The key idea is to decompose the 4D object label into two parts: the object size in 3D that's fixed through time for rigid objects, and the motion path describing the evolution of the object's pose through time. Instead of generating a series of labels in one shot, we adopt an iterative refinement process where online generated object detections are tracked through time as the initialization. Given the cheap but noisy input, our model produces higher quality 4D labels by re-estimating the object size and smoothing the motion path, where the improvement is achieved by exploiting aggregated observations and motion cues over the entire trajectory. We validate the proposed method on a large-scale driving dataset and show a 25% reduction of human annotation efforts. We also showcase the benefits of our approach in the annotator-in-the-loop setting.

연구 동기 및 목표

• 자율 주행 데이터 세트에서 인간 주석 비용을 줄이기 위한 자동 4D 라벨링의 동기를 제시한다.
• 고정된 3D 크기를 독립적으로 추정하고 시간이 지남에 따라 모션 경로를 정제하는 두 가지 가지 분기를 갖는 모델을 제안한다.
• 전체 트랙 관찰을 활용하여 3D 바운딩 박스 정확도(IoU)와 트랙의 매끄러움을 향상시킨다.
• 고품질 Car4D 데이터셋에서 평가하여 기준선 대비 실질적 향상을 입증한다.

제안 방법

• 초기 온라인 검출기 + 불연속 트래커를 사용하여 노이즈가 있는 4D 물체 트래젝토리를 얻는다.
• 객체 크기 분기는 다중 프레임 관측을 집계하여 각 객체에 대한 단일 고정 크기를 예측하고 코너 정렬(corner-align) 전략으로 상자를 정제한다.
• 모션 경로 분기는 4D 포인트 클라우드와 운동 신호를 사용하여 자세 트래젝토리를 다듬기 위해 시공간 인코더-디코더를 사용한다.
• IoU 기반 손실로 분기를 순차적으로 학습하고 추론 시 트래젝토리 전체에 걸쳐 크기 정제를 적용한 뒤 슬라이딩 윈도우 경로 정제를 수행한다.

실험 결과

연구 질문

• RQ1 전체 객체 트래젝토리 관측을 활용하면 3D 바운딩 박스에 대해 일정한 크기 추정을 더 정확하게 할 수 있는가?
• RQ2 전체 트랙에 걸친 모션 경로 정 refined가 정적 크기 추정보다 4D 라벨링 정밀도를 향상시키는가?
• RQ3 고품질 주행 데이터셋에서 자동 4D 라벨링이 인간 교정의 필요성을 얼마나 줄일 수 있는가?
• RQ4 LiDAR 희소성 및 차폐 상황에서 크기 정제의 코너-정렬 전략이 중심 정렬 방식보다 우수한가?

주요 결과

Method	IoU≥0.5	IoU≥0.6	IoU≥0.7	IoU≥0.8	IoU≥0.9
Online detector + discrete tracker	98.8%	97.5%	94.0%	82.2%	40.6%
Offline detector + discrete tracker	99.0%	97.9%	94.7%	83.3%	41.5%
Offline detector + disc. & cont. tracker	99.5%	98.4%	95.0%	82.9%	41.3%
Auto4D (size)	98.9%	97.7%	94.8%	85.4%	49.0%
Auto4D (size + path)	99.0%	98.0%	95.6%	87.9%	55.3%

• Auto4D는 Car4D 테스트 세트에서 크기 분기로부터 IoU ≥ 0.9인 상자의 수가 8.4% 증가하고 경로 분기로부터 6.3% 증가했다.
• 전반적으로 Auto4D는 온라인 검출기 + 불연속 트래커 기반 기준선에 비해 잘 로컬라이즈되지 않은 상자(IoU ≥ 0.9)를 수정하는 사람의 노력이 약 25% 감소한다.
• 코너-정렬 정제로 이루어진 크기 분기가 중심 정렬 및 무작위 기준선보다 정확한 크기 추정을 크게 향상시킨다.
• 주석가-루프 실험은 최소한의 인간 교정으로도 재학습 없이 라벨링 정확도를 추가로 향상시킬 수 있음을 보여준다.
• 정적 객체는 크기 분기로부터 더 큰 이점을 얻고, 이동 객체는 모션 경로 정제의 혜택을 더 많이 받는다.