[논문 리뷰] Accurate Point Cloud Registration with Robust Optimal Transport

Zhengyang Shen, Jean Feydy외 5명|arXiv (Cornell University)|2021. 11. 01.

3D Shape Modeling and Analysis인용 수 26

한 줄 요약

논문은 확장 가능하고 강건한 최적 수송(RobOT)을 포인트 클라우드 정합에 효과적인 특징 매칭 계층으로 제시하여 scene flow와 폐 정합에서 최첨단 성능을 달성하는 동시에 비용 효율성을 유지한다. 또한 Compact RobOT 표현과 Registration를 사전 정렬, 정제, 미세 조정하는 Deep-RobOT 아키텍처를 도입한다.

ABSTRACT

This work investigates the use of robust optimal transport (OT) for shape matching. Specifically, we show that recent OT solvers improve both optimization-based and deep learning methods for point cloud registration, boosting accuracy at an affordable computational cost. This manuscript starts with a practical overview of modern OT theory. We then provide solutions to the main difficulties in using this framework for shape matching. Finally, we showcase the performance of transport-enhanced registration models on a wide range of challenging tasks: rigid registration for partial shapes; scene flow estimation on the Kitti dataset; and nonparametric registration of lung vascular trees between inspiration and expiration. Our OT-based methods achieve state-of-the-art results on Kitti and for the challenging lung registration task, both in terms of accuracy and scalability. We also release PVT1010, a new public dataset of 1,010 pairs of lung vascular trees with densely sampled points. This dataset provides a challenging use case for point cloud registration algorithms with highly complex shapes and deformations. Our work demonstrates that robust OT enables fast pre-alignment and fine-tuning for a wide range of registration models, thereby providing a new key method for the computer vision toolbox. Our code and dataset are available online at: https://github.com/uncbiag/robot.

연구 동기 및 목표

• 강건하고 확장 가능한 포인트 클라우드 등록 및 매칭 도구로서 RobOT를 동기부여하고 정식화한다.
• 도전적인 시나리오에서 강체, 어파인, 비매개(registration)에서 RobOT가 특징 매칭을 개선하는 방법을 보여준다.
• RobOT를 변형 모델 및 딥러닝과 실용적으로 통합하여 효율적이고 정확한 등록을 달성한다.
• 고해상도 등록 파이프라인을 평가하기 위한 새로운 벤치마크와 데이터셋(폐 혈관 트리)을 제공한다.

제안 방법

• RobOT 이론과 가중치 RobOT 매칭(v_i 및 w_i)을 통한 운송 계획의 안정적이고 메모리 효율적인 표현을 제시한다.
• OT 해석기의 듀얼 변수들을 사용하여 v_i(변위)와 w_i(신뢰도)를 O(N+M) 메모리로 계산한다.
• 식 5–7과 함께 강체, 어파인, 스플라인 기반 변형을 얻도록 RobOT를 규제 모델과 통합한다.
• Deep-RobOT(D-RobOT): 엔드투엔드 정합을 위한 세 단계 파이프라인(OT 예비 정렬, 심층 변형 예측기, OT 후처리)을 제안한다.
• 부분 겹침 및 샘플링 인공물처리를 위해 KL 패널티를 활용한 불균형 OT를 적용한다.
• 빠르고 미분 가능하며 100k 포인트까지 확장이 가능한 RobOT 계층을 제공한다.

실험 결과

연구 질문

• RQ1 고해상도 3D 포인트 클라우드에 대해 RobOT가 신뢰할 수 있고 확장 가능한 대응점을 제공하는가?
• RQ2 RobOT가 규제 전략 및 변형 모델과 상호 작용하여 등록 정확도를 개선하는 방식은 무엇인가?
• RQ3 현실적으로 도전적인 작업인 scene flow와 의료 폐 정합에서 사전 정렬, 심층 예측, 후처리로 구성된 Deep-RobOT 아키텍처의 이점은 무엇인가?
• RQ4 RobOT가 부분 중첩 및 실제 데이터의 이상치에 대해 효율성을 유지하면서 견딜 수 있는가?

주요 결과

• RobOT는 많은 딥러닝 방법에 비해 높은 속도와 낮은 메모리 비용으로 강력한 기본 결과를 달성한다.
• RobOT 강화 파이프라인은 특히 고해상도에서 도전적인 작업에서 최첨단 방법보다 일관되게 우수한 성능을 보인다.
• 3단계 D-RobOT 아키텍처(사전 정렬, 심층 등록, 후처리)는 합성 및 실제 데이터 전반에서 강인하고 정확한 등록을 제공한다.
• 제안된 폐 혈관 트리 데이터셋(PVT1010)은 조밀하게 샘플링된 포인트로 대규모 고해상도 벤치마크를 제공한다.
• RobOT은 등록의 미세 조정을 가능하게 하여 ‘좋은’ 매칭을 비용이 낮은 수준에서 거의 완벽한 정합으로 전환한다.
• KL 패 penalties를 포함한 불균형 OT는 부분 등록과 샘플링 인공물에 RobOT를 강건하게 만든다.