[논문 리뷰] SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks

Yan Xu, Zhaoyang Huang외 6명|arXiv (Cornell University)|2020. 10. 19.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 10

한 줄 요약

이 논문은 3D 바이트 기반 컨볼루션 신경망을 사용하여 원시 LiDAR 포인트 클라우드를 직접 처리함으로써 2D 투영 아티팩트를 피하는 자기지도 학습 기반 LiDAR 온도메트리 방법인 SelfVoxeLO를 제안한다. 새로운 자기지도 학습 손실 함수와 불확실성 인식 메커니즘을 도입하여 노이즈 및 동적 물체에 대한 강인성을 향상시켰으며, KITTI 및 Apollo-SouthBay 데이터셋에서 실시간 추론을 구현하면서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Recent learning-based LiDAR odometry methods have demonstrated their competitiveness. However, most methods still face two substantial challenges: 1) the 2D projection representation of LiDAR data cannot effectively encode 3D structures from the point clouds; 2) the needs for a large amount of labeled data for training limit the application scope of these methods. In this paper, we propose a self-supervised LiDAR odometry method, dubbed SelfVoxeLO, to tackle these two difficulties. Specifically, we propose a 3D convolution network to process the raw LiDAR data directly, which extracts features that better encode the 3D geometric patterns. To suit our network to self-supervised learning, we design several novel loss functions that utilize the inherent properties of LiDAR point clouds. Moreover, an uncertainty-aware mechanism is incorporated in the loss functions to alleviate the interference of moving objects/noises. We evaluate our method's performances on two large-scale datasets, i.e., KITTI and Apollo-SouthBay. Our method outperforms state-of-the-art unsupervised methods by 27%/32% in terms of translational/rotational errors on the KITTI dataset and also performs well on the Apollo-SouthBay dataset. By including more unlabelled training data, our method can further improve performance comparable to the supervised methods.

연구 동기 및 목표

• 2D 투영 기반 LiDAR 온도메트리의 한계를 해결하기 위해, 3D 기하학적 구조를 왜곡시키고 특징 품질을 떨어뜨리는 문제를 해결한다.
• 대규모 레이블링된 데이터에 의존하는 지도 학습의 문제를 해결하기 위해, 실제 자세 정보가 없는 상태에서 자기지도 학습을 가능하게 한다.
• 손실 함수 내에서 불확실성 인식 기반 신뢰도 추정 메커니즘을 도입하여 노이즈 및 동적 물체에 대한 강인성을 향상시킨다.
• 레이블이 없는 데이터만을 사용하여 KITTI 및 Apollo-SouthBay와 같은 대규모 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 고정밀도를 유지하면서도 추론 효율성을 최적화하여 실시간 구현이 가능하도록 한다.

제안 방법

• 원시 LiDAR 포인트 클라우드를 세밀한 3D 격자로 바이트화하여 공간적 토폴로지 유지 및 3D 컨볼루션 특징 학습 가능하게 한다.
• 바이트화된 포인트 클라우드에서 직접 고층 기하학적 특징을 추출하기 위해 3D 컨볼루션 신경망을 활용한다.
• 구형 재투영 손실을 도입하여 각도 및 거리 일관성을 활용해 근접하고 안정된 점에 네트워크의 집중을 유도한다.
• 예측된 자세 변화에서의 편차를 최소화함으로써 학습을 안정화시키기 위해 변환 잔차 손실을 적용한다.
• 프레임 간 특징 일관성을 통해 포인트 수준의 특징 학습을 향상시키기 위해 깊은 플로우 감독 손실을 통합한다.
• 네트워크 예측을 기반으로 대응 쌍의 신뢰도 점수를 추정하고, 이를 손실 함수의 가중치로 사용하여 노이즈 또는 동적 점의 영향을 감소시킨다.

실험 결과

연구 질문

• RQ1 3D 바이트 기반 CNN 프레임워크는 2D 투영 기반 방법보다 LiDAR 온도메트리에서 3D 기하학적 구조를 더 잘 포착할 수 있는가?
• RQ2 어떻게 하면 레이블이 없는 자세 정보만으로도 자기지도 학습 손실 함수를 설계할 수 있는가?
• RQ3 불확실성 인식 기반 신뢰도 추정은 동적 물체 및 센서 노이즈에 대해 얼마나 강인성을 향상시킬 수 있는가?
• RQ4 자기지도 학습 방법이 실제 세계 데이터셋에서 지도 학습 기반 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 실생활 로봇 및 자율 주행 응용 분야에 적합한 실시간 추론 효율성을 유지하는가?

주요 결과

• KITTI 데이터셋에서 SelfVoxeLO는 최신 기술 수준의 비지도 학습 방법 대비 이동 오차와 회전 오차 각각 27%, 32% 감소를 달성하였다.
• Apollo-SouthBay 데이터셋에서, 이 방법은 대부분의 이프레임 기반 기준선보다 뛰어난 성능을 보이며, 매핑 정밀도 향상 기능을 갖춘 다이내믹 프레임 기반 LOAM과 유사한 성능을 달성하였다.
• 제거 실험 결과, 신뢰도 메커니즘을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이는 신뢰도 기반 불안정한 대응 관계를 걸러내는 데 효과적임을 입증하였다.
• 구형 재투영 손실을 유클리드 손실로 대체할 경우 성능 저하가 뚜렷하게 발생함을 확인하여, 구형 손실의 설계가 타당함을 검증하였다.
• V100 GPU에서 1 프레임당 88.4ms로 실행되어 실시간 추론을 구현하였으며, 전통적인 ICP 기반 방법보다 빠른 속도를 기록하였다.
• 대규모 레이블 없음 데이터와 매핑 정밀도 향상 기능을 통합할 경우, 성능이 지도 학습 기반 LO-net과 유사해져 강력한 일반화 및 확장성 잠재력을 보였다.