[논문 리뷰] AlignNet-3D: Fast Point Cloud Registration of Partially Observed Objects

Johannes Größ, Aljoša Ošep외 1명|arXiv (Cornell University)|2019. 10. 10.

Robotics and Sensor-Based Localization참고 문헌 50인용 수 19

한 줄 요약

AlignNet-3D는 부분적으로 관측된 물체의 빠르고 정확한 3D 포인트 클라우드 정렬을 위한 딥러닝 기반 방법을 제안한다. LiDAR 스캔 간 상대 변환을 예측하기 위해 사일렌스 신경망을 사용하며, ICP 및 글로벌 정렬 방법에 비해 정확도와 효율성에서 뛰어나며, 특히 큰 시간 간격과 다양한 포인트 밀도 조건에서도 뛰어난 성능을 보인다. 또한 최신 기준보다 낮은 속도 추정 오차를 기록한다.

ABSTRACT

Methods tackling multi-object tracking need to estimate the number of targets in the sensing area as well as to estimate their continuous state. While the majority of existing methods focus on data association, precise state (3D pose) estimation is often only coarsely estimated by approximating targets with centroids or (3D) bounding boxes. However, in automotive scenarios, motion perception of surrounding agents is critical and inaccuracies in the vehicle close-range can have catastrophic consequences. In this work, we focus on precise 3D track state estimation and propose a learning-based approach for object-centric relative motion estimation of partially observed objects. Instead of approximating targets with their centroids, our approach is capable of utilizing noisy 3D point segments of objects to estimate their motion. To that end, we propose a simple, yet effective and efficient network, \method, that learns to align point clouds. Our evaluation on two different datasets demonstrates that our method outperforms computationally expensive, global 3D registration methods while being significantly more efficient. We make our data, code, and models available at https://www.vision.rwth-aachen.de/page/alignnet.

연구 동기 및 목표

• 다양한 물체 추적에서 정밀한 3D 운동 추정의 부족, 특히 거리가 가까운 자율주행 환경에서의 굵은 근사치가 치명적인 실패를 초래할 수 있음을 해결하기 위해.
• 중심점이나 경계상자 대신 전체 3D 포인트 세그먼트를 활용하여 연속된 LiDAR 스캔 간 상대 운동 추정을 정확히 수행하는 학습 기반 접근법을 개발하기 위해.
• 큰 시간 간격, 다양한 포인트 밀도, 부분 관측 조건을 처리할 수 있는 강력하고 효율적이며 일반화 능력이 뛰어난 물체 중심 3D 정렬 방법을 구축하기 위해.
• 합성 및 실세계 데이터를 바탕으로 성능을 평가하여 KITTI와 같은 실세계 LiDAR 시퀀스로의 일반화 능력을 입증하기 위해.
• 향후 3D 포인트 클라우드 정렬 및 운동 추정 분야의 연구를 지원하기 위해 공개된 코드베이스와 데이터셋을 제공하기 위해.

제안 방법

• 두 개의 연속 시간 스텝에서의 포인트 클라우드를 처리하기 위해 사일렌스 신경망 아키텍처를 사용하여 각각에 대한 공유된 표현을 학습한다.
• 신경망은 먼저 두 포인트 클라우드를 초기 정렬과 시점 변화에 민감도를 낮추기 위해 표준화된, 모달성이 없는 자세로 변환한다.
• 포인트 클라우드 임베딩을 연결하여 다층 퍼셉트론을 통과시켜 두 스캔 간 상대 변환(이동 및 회전)을 예측한다.
• 합성 데이터에서 예측된 변환과 진짜 변환 간의 차이를 최소화하는 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• GPU 병렬 처리를 활용하여 추론 속도를 최적화하여 배치 크기가 32일 때 약 1.22ms의 변환 시간을 달성한다.
• ModelNet40 CAD 모델에서 유도된 합성 데이터셋을 생성하여 LiDAR 포인트 샘플링 특성을 시뮬레이션함으로써 통제된 조건에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근법이 부분적으로 관측된 물체의 3D 포인트 클라우드 정렬에서 전통적인 ICP 및 글로벌 정렬 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 실세계 LiDAR 시퀀스에서 큰 시간 간격과 다양한 포인트 밀도에 대해 제안된 방법의 견고성은 어떠한가?
• RQ3 학습 가능한 정렬 네트워크가 ADH [16]과 같은 최신 기준 운동 추정 방법보다 속도 추정 정확도에서 뛰어나게 성능을 냈는가?
• RQ4 합성 훈련 데이터에서 학습한 네트워크가 실세계 KITTI 추적 시퀀스로의 일반화 능력은 어느 정도인가?
• RQ5 이 방법은 자율주행 차량 인식 시스템에서 실시간 적용에 충분히 효율적인가?

주요 결과

• KITTI 추적 데이터셋에서, 거리 < 80m 이며 10 프레임 이상 간격이 있는 어려운 케이스에서 AlignNet-3D는 2cm, 1° 정확도 기준으로 14.48%의 성공률을 기록하며, ICP 및 FGR 변종보다 뚜렷이 뛰어나다.
• KITTITrackletsCarsHard 세트에서 이동의 RMSE는 0.48m로 감소하고, 회전의 RMSE는 31.08°로 낮아졌으며, 글로벌 ICP 및 FGR는 각각 38.34m와 70.78°의 RMSE를 기록한다.
• 속도 추정에서, 거리 < 5m 범위에서 AlignNet-3D는 RMSE 0.732m/s를 기록하며, ADH 3D(1.002m/s)와 중심점 기반 칼만 필터(1.604m/s)를 모두 앞선다.
• 계산적으로 효율적이며, 배치 크기가 32일 때 GPU에서 약 1.22ms의 변환 시간을 기록하여 실시간 추적 응용에 적합하다.
• 더 큰 시간 간격 조건에서도 AlignNet-3D는 견고한 성능 유지를 보이며, KITTITrackletsCarsPersonsHard에서 20cm, 10° 임계값 기준 11.16%의 성공률을 기록했고, ICP 및 FGR는 완전히 실패한다.
• 네트워크는 실세계 데이터로의 일반화 능력이 뛰어나며, 계산 비용이 높은 글로벌 정렬 방법과 비슷한 성능을 기록하면서도 훨씬 더 빠른 속도를 제공한다.