[논문 리뷰] PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization

Guangming Wang, Xinrui Wu외 2명|arXiv (Cornell University)|2020. 12. 02.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 4

한 줄 요약

PWCLO-Net은 계층적 PWC(Pyramid, Warping, Cost volume) 구조와 학습 가능한 임bedding 마스크를 통합하여 3D LiDAR 온도메트리에 대한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 마스크를 계층적으로 최적화하고 주의 메커니즘 기반의 부드러운 대응 관계를 활용함으로써, KITTI 데이터셋에서 기존의 학습 기반 및 기하 기반 방법(예: 맵핑 최적화를 적용한 LOAM)을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A novel 3D point cloud learning model for deep LiDAR odometry, named PWCLO-Net, using hierarchical embedding mask optimization is proposed in this paper. In this model, the Pyramid, Warping, and Cost volume (PWC) structure for the LiDAR odometry task is built to refine the estimated pose in a coarse-to-fine approach hierarchically. An attentive cost volume is built to associate two point clouds and obtain embedding motion patterns. Then, a novel trainable embedding mask is proposed to weigh the local motion patterns of all points to regress the overall pose and filter outlier points. The estimated current pose is used to warp the first point cloud to bridge the distance to the second point cloud, and then the cost volume of the residual motion is built. At the same time, the embedding mask is optimized hierarchically from coarse to fine to obtain more accurate filtering information for pose refinement. The trainable pose warp-refinement process is iteratively used to make the pose estimation more robust for outliers. The superior performance and effectiveness of our LiDAR odometry model are demonstrated on KITTI odometry dataset. Our method outperforms all recent learning-based methods and outperforms the geometry-based approach, LOAM with mapping optimization, on most sequences of KITTI odometry dataset.Our source codes will be released on https://github.com/IRMVLab/PWCLONet.

연구 동기 및 목표

• 동적인 환경와 희박한 환경에서 원시 3D LiDAR 포인트 클라우드로부터 정확한 6-DOF 자세를 추정하는 도전 과제를 해결하기 위해.
• 2D 투영 기반 방법의 한계를 극복하기 위해 직접적인 3D 특징 학습 및 매칭을 가능하게 하기 위해.
• 외부 마스크 네트워크에 의존하지 않고도 잘못된 대응, 음영, 동적 포인트를 필터링하기 위해.
• 자세와 이상치 제거를 동시에 최적화하는 코arse-to-fine, 엔드 투 엔드 미분 가능한 프레임워크를 개발하기 위해.

제안 방법

• 3D LiDAR 온도메트리에 적합한 PWC 스타일 아키텍처를 설계하여, 특징 피라미드, 자세 워핑, 비용 볼륨을 통합하여 계층적 특징 매칭을 수행한다.
• 통합된 운동 패턴을 기반으로 두 개의 연속된 포인트 클라우드 간의 부드러운 대응 관계를 학습하기 위해 주의 메커니즘 기반의 비용 볼륨을 구성한다.
• 전역 자세 일관성에서 학습함으로써 국소 운동 패턴을 가중하고 이상치를 억제하기 위해 학습 가능한 계층적 임베딩 마스크를 도입한다.
• 자세 워핑 및 정밀화 과정을 특징 수준 전반에서 반복적으로 수행하여, 워핑된 포인트 클라우드와 갱신된 마스크를 활용해 추정된 자세를 개선한다.
• 모든 구성 요소가 미분 가능하여 자세 및 마스크 파rameter를 함께 최적화할 수 있는 엔드 투 엔드 학습이 가능하다.
• 코어스 투 파인 전략을 사용하여 포인트 특징 피라미드의 최전단 수준에서 특징 매칭을 시작함으로써 초기 자세 추정의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 자세와 이상치 제거를 함께 최적화하는 계층적, 엔드 투 엔드 학습 가능한 프레임워크는 3D LiDAR 온도메트리 정확도를 향상시킬 수 있는가?
• RQ2 학습 가능한 임베딩 마스크는 외부 마스크 네트워크를 대체하여 LiDAR 온도메트리에서 동적 및 잘못된 대응 포인트를 효과적으로 필터링할 수 있는가?
• RQ3 임베딩 마스크의 계층적 최적화는 고정 또는 별도 최적화된 마스크보다 더 나은 자세 정밀화를 이끌 수 있는가?
• RQ4 주의 메커니즘 기반의 비용 볼륨은 희박하고 노이즈가 많은 3D 포인트 클라우드에서 대응 관계 학습을 얼마나 향상시키는가?
• RQ5 3D LiDAR 온도메트리에서 고정밀 자세 추정을 달성하기 위해 자세 워핑 및 반복적 정밀화가 필수적인가?

주요 결과

• PWCLO-Net은 KITTI 온도메트리 벤치마크에서 최신 기술 수준의 성능을 달성하여 최근의 모든 학습 기반 방법을 능가한다.
• 대부분의 KITTI 시퀀스에서 맵핑 최적화를 적용한 기하 기반 방법인 LOAM을 뛰어넘어 더 뛰어난 강건성과 정확도를 입증한다.
• 제거 실험 결과, 계층적 임베딩 마스크와 그 최적화 과정이 핵심임을 확인하였으며, 이를 제거할 경우 성능이 크게 떨어진다.
• 표준 플로우 임베딩이나 포인트 비용 볼륨보다 주의 메커니즘 기반의 비용 볼륨이 더 우수한 성능을 보이며, 이는 강력한 특징 연관성 확보에 기여함을 시사한다.
• 최적의 첫 번째 수준 특징 임베딩은 포인트 특징 피라미드의 최전단 수준임이 확인되었으며, 이는 구조적 정보와 계산 효율성 사이의 균형을 잘 맞춘다.
• 시각화 결과, 임베딩 마스크가 이동 중인 차량, 자전거와 같은 동적 객체와 부정확한 구조물(예: 덤불)에 낮은 가중치를 할당하는 동시에, 건물과 나무 줄기와 같은 정적이고 구조적인 객체를 우선적으로 고려함을 확인하였다.