[논문 리뷰] PointLoc: Deep Pose Regressor for LiDAR Point Cloud Localization

Wei Wang, Bing Wang외 6명|arXiv (Cornell University)|2020. 03. 05.

Robotics and Sensor-Based Localization참고 문헌 53인용 수 5

한 줄 요약

PointLoc는 PointNet 스타일 아키텍처에 자기주의 모듈을 통합하여 단일 LiDAR 포인트 클라우드에서 6-DoF 자세를 직접 회귀하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 옥스포드 레이더 로봇카 데이터셋과 실제 실내 로봇 실험에서 최신 기술 수준의 정확도를 달성하며, LiDAR 및 시각 기반 재현위치 측정 방법을 크게 앞서며, 중앙 이동 오차와 회전 오차가 각각 1.3° 이하, 1.5m 이하를 기록한다.

ABSTRACT

In this paper, we present a novel end-to-end learning-based LiDAR relocalization framework, termed PointLoc, which infers 6-DoF poses directly using only a single point cloud as input, without requiring a pre-built map. Compared to RGB image-based relocalization, LiDAR frames can provide rich and robust geometric information about a scene. However, LiDAR point clouds are unordered and unstructured making it difficult to apply traditional deep learning regression models for this task. We address this issue by proposing a novel PointNet-style architecture with self-attention to efficiently estimate 6-DoF poses from 360° LiDAR input frames.Extensive experiments on recently released challenging Oxford Radar RobotCar dataset and real-world robot experiments demonstrate that the proposedmethod can achieve accurate relocalization performance.

연구 동기 및 목표

• GNSS가 이용 불가능하거나 신뢰할 수 없는 환경에서 강력하고 실시간 3차원 위치 추정을 해결한다.
• 검색 기반 LiDAR 재현위치 측정의 한계, 즉 O(n) 검색 복잡도와 참조 데이터베이스의 큰 저장 요구량을 극복한다.
• 사전 구축된 지ap이나 초기 자세 추정치가 필요 없는 엔드 투 엔드 학습 기반 접근법을 개발하여 원시 LiDAR 포인트 클라우드에서 직접 6-DoF 자세를 회귀한다.
• LiDAR 포인트 클라우드의 360° 기하학적 풍부함을 활용하여 시각 센서 기반 방법에 비해 일반화 능력과 내성 강도를 향상시킨다.
• 순서가 없는 비정형 포인트 클라우드를 효과적으로 처리할 수 있는 신경망 아키텍처를 설계하여 정확하고 안정적인 자세 추정을 가능하게 한다.

제안 방법

• 순서가 없는 포인트 클라우드에서 장거리 상관관계를 포착하고 특징 표현을 향상시키기 위해 자기주의 모듈을 통합한 새로운 PointNet 스타일 신경망을 제안한다.
• 전역 포인트 클라우드 특징에서 6-DoF 자세의 이동 및 회전 성분을 회귀하기 위해 두 개의 별도 브랜치를 사용하는 다층 퍼셉트론(MLP)을 사용한다.
• 공유된 MLP를 통한 포인트 샘플링 및 특징 학습을 통해 원시 3차원 포인트 클라우드에서 계층적인 기하학적 특징을 추출한다.
• 전체 포인트 클라우드에 걸쳐 특징을 집계하기 위해 글로벌 맥스 풀링 레이어를 적용하여 자세 예측을 수행한다.
• 예측된 6-DoF 자세와 진짜 자세 간의 평균 제곱오차 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 희박한 포인트 클라우드에서 기하학적 일관성을 유지하고 특징 학습을 향상시키기 위해 미분 가능한 샘플링 전략을 도입한다.

실험 결과

연구 질문

• RQ1 사전 구축된 지도나 초기 자세 추정치에 의존하지 않고도 딥 러닝 모델이 원시 LiDAR 포인트 클라우드에서 직접 6-DoF 자세를 회귀시킬 수 있는가?
• RQ2 자기주의 메커니즘을 통합함으로써 순서가 없고 비정형인 포인트 클라우드에서 자세 추정 정확도는 어떻게 향상되는가?
• RQ3 다양한 환경 조건에서 시각 센서 기반 방법에 비해 LiDAR 기반 재현위치 측정이 정확도와 내성 강도 측면에서 어느 정도 우월한가?
• RQ4 포인트 샘플링 밀도와 네트워크 아키텍처 설계는 최종 위치 추정 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 실생활 환경에서 모바일 로봇에 배포 가능한 실시간 성능을 달성할 수 있는가?

주요 결과

• PointLoc는 옥스포드 레이더 로봇카 데이터셋에서 중앙 이동 오차 11.16m, 회전 오차 1.30°를 기록하며, 최고의 시각 기반 재현위치 측정 기준(AtLoc)보다 이동 오차 66.86%, 회전 오차 78.83% 향상되었다.
• 자기주의 모듈을 통합한 모델은 주어진 기준 모델 대비 이동 오차 7.77%, 회전 오차 19.75% 감소시켜 장거리 공간적 상관관계를 효과적으로 포착함을 입증했다.
• 4096개의 샘플링 포인트를 사용할 경우 원시 포인트 클라우드 대비 이동 오차 1.4% 향상, 회전 오차 9.09% 향상되었으며, 이는 포인트 밀도가 정확도에 상당한 영향을 미친다는 것을 시사한다.
• PointLoc 모델은 프레임당 약 0.1초의 추론 시간을 기록하여 10Hz에서 실시간 위치 추정이 가능하며, 모바일 로봇에의 배포에 적합하다.
• 실제 실내 환경에서의 vReLoc 데이터셋에서 PointLoc는 정적 및 동적 환경(예: 한 명 또는 두 명의 사람이 걷는 상황) 모두에서 안정적이고 정확한 자세 추정을 달성했으며, 변동성이 낮고 중앙 오차가 1.5m 이하, 1.3° 이하를 기록했다.
• DCP에 PointNet을 적용한 모델 대비 이동 오차 29.46%, 회전 오차 37.80% 향상되었으며, 더 나은 훈련 안정성과 특징 학습 능력 덕분에 DGCNN 기반 DCP를 초월했다.