[논문 리뷰] Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

Benedikt Mersch, Xieyuanli Chen외 2명|arXiv (Cornell University)|2021. 09. 28.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 13

한 줄 요약

이 논문은 입력 스캔을 범위 이미지로 변환하고 이를 3D 텐서로 처리하여 미래 3D LiDAR 포인트 클라우드를 예측하는 자기지도 학습 3D 시공간 컨volution 네트워크를 제안한다. 이 방법은 레이블이 없는 데이터만을 사용하여 훈련하고, 미세조정 없이도 예측된 환경 외의 환경으로도 잘 일반화되며, 10 Hz LiDAR 프레임 레이트보다 빠른 추론 속도를 보이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Exploiting past 3D LiDAR scans to predict future point clouds is a promising method for autonomous mobile systems to realize foresighted state estimation, collision avoidance, and planning. In this paper, we address the problem of predicting future 3D LiDAR point clouds given a sequence of past LiDAR scans. Estimating the future scene on the sensor level does not require any preceding steps as in localization or tracking systems and can be trained self-supervised. We propose an end-to-end approach that exploits a 2D range image representation of each 3D LiDAR scan and concatenates a sequence of range images to obtain a 3D tensor. Based on such tensors, we develop an encoder-decoder architecture using 3D convolutions to jointly aggregate spatial and temporal information of the scene and to predict the future 3D point clouds. We evaluate our method on multiple datasets and the experimental results suggest that our method outperforms existing point cloud prediction architectures and generalizes well to new, unseen environments without additional fine-tuning. Our method operates online and is faster than the common LiDAR frame rate of 10 Hz.

연구 동기 및 목표

• 라벨이 없는 데이터나 사전 검출/추적 파ip라인에 의존하지 않고 자율주행 시스템이 미래 LiDAR 포인트 클라우드를 예측할 수 있도록 하는 것.
• 순차적인 3D 포인트 클라우드에서 공간적 및 시간적 종속성을 동시에 모델링하는 종단간 자기지도 학습 방법을 개발하는 것.
• 10 Hz보다 더 빠른 실시간 추론 속도를 확보하여 이동형 플랫폼에 배포 가능한 것.
• 추가적인 미세조정 없이도 새로운 환경에 효과적으로 일반화되는 것.
• 스킵 연결과 원형 패딩을 활용하여 예측 정확도와 구조적 세부 정보를 향상시키는 것.

제안 방법

• 각 3D LiDAR 스캔을 2D 범위 이미지로 변환하고, 이러한 이미지의 시퀀스를 3D 텐서로 연결하여 시공간 처리를 수행한다.
• 3D 컨볼루션을 사용하여 순차적인 시퀀스 전역에서 공간적 및 시간적 특징을 동시에 인코딩하는 3D U-Net 유사 인코더-디코더 아키텍처를 적용한다.
• 디코더의 업샘플링 과정에서 고해상도 공간적 세부 정보를 유지하기 위해 스킵 연결을 사용한다.
• 360° 시야 범위의 수평 일관성을 유지하고 이음새 근처의 아티팩트를 줄이기 위해 원형 패딩을 적용한다.
• 네트워크는 미래의 범위 이미지와 각 포인트의 유효/무효 여부를 나타내는 마스크를 동시에 예측하여 정확한 포인트 클라우드 생성을 가능하게 한다.
• 훈련은 다중 작업 손실을 활용하여 자기지도 학습 방식으로 수행되며, 이미지 기반 손실(사전 훈련용)과 3D Chamfer 거리(최적화용)를 조합한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 3D 컨볼루션 네트워크는 수동 레이블이 전혀 없는 과거 LiDAR 시퀀스에서 세밀한 미래 포인트 클라우드를 예측할 수 있는가?
• RQ2 3D 컨볼루션을 통한 종합적 시공간 모델링이 순환 또는 이중 스트림 아키텍처에 비해 포인트 클라우드 예측에서 우월한 성능을 보이는가?
• RQ3 센서 장착 방식이나 장면 특성이 다른 새로운 환경에 대해서도 미세조정 없이 모델이 잘 일반화되는가?
• RQ4 제안된 방법은 표준 10 Hz LiDAR 프레임 레이트를 초월하는 실시간 추론이 가능한가?
• RQ5 이미지 기반 손실로 사전 훈련한 후 3D Chamfer 거리로 최적화하면, 초기 상태에서 3D 손실만으로 훈련하는 것보다 수렴 속도와 최종 성능이 향상되는가?

주요 결과

• 제안된 방법은 KITTI 오도메트리 데이터셋에서 평균 Chamfer 거리 0.480 m²를 달성하여 최신 기술 수준의 베이스라인을 초월한다.
• 모델은 예측된 환경 외의 환경으로도 잘 일반화된다: Apollo-SouthBay에서 1 에포크의 미세조정 후 Chamfer 거리가 0.934 m²에서 0.426 m²로 감소한다.
• 모델은 추론 속도가 10 Hz를 초월하여 온라인으로 작동하여 이동형 플랫폼에 실시간으로 구현 가능한 것을 확인했다.
• 절단 실험 결과, 스킵 연결과 원형 패딩이 예측 품질을 크게 향상시키며, 전체 아키텍처를 사용할 때 최고의 성능을 기록한다.
• 이미지 기반 손실로 사전 훈련한 후 Chamfer 거리로 최적화하면, 초기 상태에서 3D 손실만으로 훈련하는 것보다 더 나은 결과를 얻고 훈련 시간도 단축된다.
• 다른 센서 장착 방식에서도 재투영 마스크를 정확히 예측하여 기하학적 변형에 대해 뛰어난 내구성을 보여준다.