[论文解读] Extreme Relative Pose Network under Hybrid Representations

Zhenpei Yang, Siming Yan+1 more|arXiv (Cornell University)|Dec 25, 2019

Robotics and Sensor-Based Localization参考文献 47被引用 4

一句话总结

该论文提出了一种基于RGB-D的新型相对位姿估计方法，针对小重叠或无重叠扫描场景，采用混合表示（360图像、2D布局和面片）实现自适应特征提取与场景补全。该方法采用从全局到局部的匹配流程，利用几何约束对初始位姿进行优化，实现了SOTA性能，在ScanNet数据集上达到28.6°/0.90m的top-1旋转/平移误差，并显著提升了少视角3D重建质量。

ABSTRACT

In this paper, we introduce a novel RGB-D based relative pose estimation approach that is suitable for small-overlapping or non-overlapping scans and can output multiple relative poses. Our method performs scene completion and matches the completed scans. However, instead of using a fixed representation for completion, the key idea is to utilize hybrid representations that combine 360-image, 2D image-based layout, and planar patches. This approach offers adaptively feature representations for relative pose estimation. Besides, we introduce a global-2-local matching procedure, which utilizes initial relative poses obtained during the global phase to detect and then integrate geometric relations for pose refinement. Experimental results justify the potential of this approach across a wide range of benchmark datasets. For example, on ScanNet, the rotation translation errors of the top-1/top-5 predictions of our approach are 28.6/0.90m and 16.8/0.76m, respectively. Our approach also considerably boosts the performance of multi-scan reconstruction in few-view reconstruction settings.

研究动机与目标

• 解决在重叠极少或无重叠的RGB-D扫描之间进行相对位姿估计的挑战，因为传统特征匹配在重叠不足时失效。
• 通过利用多种互补的3D表示实现扫描补全，提升极端相对位姿估计的鲁棒性与准确性。
• 在模糊位姿估计场景中支持多假设输出，增强在真实机器人与重建应用中的可靠性。
• 在局部优化阶段集成几何约束（如平行性、共面性），以在全局初始化后进一步提升位姿精度。

提出的方法

• 结合360图像、2D布局和面片的混合表示，用于补全不完整或无重叠的扫描，实现更丰富且自适应的特征学习。
• 使用基于完成扫描特征的谱匹配的全局匹配模块，生成初始相对位姿候选。
• 采用局部优化模块，通过鲁棒范数检测并整合几何关系（如平行平面、距离）以优化初始位姿。
• 引入顺序的全局到局部流程，支持迭代优化并可输出多个位姿以建模模糊性。
• 将该方法与MRF-SFM的位姿优化器结合，实现从少数视角出发的一致性多扫描对齐。
• 使用扰动扫描对对进行几何关系预测精度评估，并通过鲁棒过滤处理不完美预测。

实验结果

研究问题

• RQ1 与单一表示方法相比，混合3D表示（360图像、2D布局、面片）是否能提升无重叠扫描中的相对位姿估计性能？
• RQ2 当初始位姿不确定时，利用几何约束的全局到局部匹配流程在优化相对位姿方面的有效性如何？
• RQ3 在少视角设置下，多个相对位姿预测能在多大程度上提升多扫描3D重建的质量？
• RQ4 在缺乏强重叠的情况下，预测的几何关系（如平行性、共面性）如何增强位姿优化？
• RQ5 所提方法是否能在重叠与非重叠扫描场景下均优于当前SOTA方法？

主要发现

• 在ScanNet上，所提方法实现top-1旋转/平移误差为28.6°/0.90m，优于SOTA基线的34.1°/0.93m。
• 对于top-5预测，误差降低至16.8°/0.76m，表明多假设输出在处理位姿模糊性方面具有显著优势。
• 在SUNCG上，方法将top-1误差降低至18.1°/0.16m，相较SOTA基线的31.1°/0.27m有显著改善。
• 局部优化模块在各数据集上将误差降低15–20%，证明其在优化初始全局估计方面的有效性。
• 在少视角重建（5个扫描）中，采用top-5输出的方法实现1.81°/0.09m的平均误差，优于RobustRecons（12.3°/0.26m）和Fine-to-Coarse（68.6°/1.43m）在稀疏设置下的表现。
• 几何关系预测对共面关系的准确率达到93%，且鲁棒过滤即使在预测不完美时也能保持高性能。