[论文解读] Accurate Point Cloud Registration with Robust Optimal Transport

Zhengyang Shen, Jean Feydy+5 more|arXiv (Cornell University)|Nov 1, 2021

3D Shape Modeling and Analysis被引用 26

一句话总结

论文展示了可扩展的鲁棒最优传输（RobOT），作为有效的特征匹配层来改进点云配准，在场景流与肺部配准方面实现了最先进的结果，同时保持经济性。它引入了紧凑的RobOT表示和Deep-RobOT架构，能够对齐、细化并微调配准。

ABSTRACT

This work investigates the use of robust optimal transport (OT) for shape matching. Specifically, we show that recent OT solvers improve both optimization-based and deep learning methods for point cloud registration, boosting accuracy at an affordable computational cost. This manuscript starts with a practical overview of modern OT theory. We then provide solutions to the main difficulties in using this framework for shape matching. Finally, we showcase the performance of transport-enhanced registration models on a wide range of challenging tasks: rigid registration for partial shapes; scene flow estimation on the Kitti dataset; and nonparametric registration of lung vascular trees between inspiration and expiration. Our OT-based methods achieve state-of-the-art results on Kitti and for the challenging lung registration task, both in terms of accuracy and scalability. We also release PVT1010, a new public dataset of 1,010 pairs of lung vascular trees with densely sampled points. This dataset provides a challenging use case for point cloud registration algorithms with highly complex shapes and deformations. Our work demonstrates that robust OT enables fast pre-alignment and fine-tuning for a wide range of registration models, thereby providing a new key method for the computer vision toolbox. Our code and dataset are available online at: https://github.com/uncbiag/robot.

研究动机与目标

• 将鲁棒最优传输（RobOT）作为鲁棒、可扩展的点云配准与匹配工具进行动机化与形式化。
• 展示RobOT如何在刚性、仿射和非参数化配准的挑战场景中改善特征匹配。
• 演示RobOT与形变模型和深度学习的实际整合，以实现高效、准确的配准。
• 提供新的基准与数据集（肺部血管树）以评估高分辨率配准流程。

提出的方法

• 给出RobOT理论与通过加权RobOT匹配（v_i 和 w_i）实现稳定、内存高效的传输计划表示。
• 利用OT求解器的对偶变量来计算v_i（位移）和w_i（置信度），内存复杂度为O(N+M)。
• 将RobOT与正则化模型整合以获得刚性、仿射或样条基的变形（方程式5–7）。
• 提出Deep-RobOT（D-RobOT）：一个三阶段管线（OT预对齐、深度变形预测、OT后处理）用于端到端配准。
• 通过KL惩罚的非平衡OT来处理部分重叠和采样伪影。
• 提供快速、可微分的RobOT层，支持高分辨率点云（高达100k点）的扩展。

实验结果

研究问题

• RQ1 鲁棒最优传输（RobOT）是否能为高分辨率3D点云提供可靠、可扩展的对应关系？
• RQ2 RobOT如何与正则化策略和变形模型交互以提高配准精度？
• RQ3 在具有挑战性的任务如场景流与医学肺部配准中，三阶段的Deep-RobOT架构（预对齐、深度预测、后处理）有哪些好处？
• RQ4 RobOT是否能够在保持高效的前提下处理现实数据中的部分重叠和离群值？

主要发现

• 与大量深度学习方法相比，RobOT在速度和内存成本方面表现出色的基线结果。
• RobOT增强的流程在具有挑战性的任务上始终超越最先进方法，尤其是在高分辨率下。
• 三步的D-RobOT架构（预对齐、深度配准、后处理）在合成数据与真实数据上均实现了鲁棒、准确的配准。
• 提出的肺部血管树数据集（PVT1010）提供了一个大型、高分辨率且点密度高的基准。
• RobOT实现对配准的有效微调，将“良好”的匹配转化为近乎完美的对齐，且成本可控。
• 使用KL惩罚的非平衡OT支持部分配准，使RobOT对采样伪影具有鲁棒性。