[论文解读] Floorplan Priors for Joint Camera Pose and Room Layout Estimation.

Cheng Lin, Changjian Li+2 more|arXiv (Cornell University)|Dec 17, 2018

Robotics and Sensor-Based Localization参考文献 32被引用 7

一句话总结

该论文提出了一种联合相机位姿与房间布局估计方法，通过利用平面图先验和曼哈顿世界特性，适用于大场景或特征稀疏的环境。该方法从部分扫描中估计局部布局，利用回环检测实现全局对齐，相比基于特征的方法在准确性和鲁棒性方面表现更优。

ABSTRACT

We present a novel approach to reconstruct large or featureless scenes. Our method jointly estimates camera poses and a room layout from a set of partial reconstructions due to camera tracking interruptions when scanning a large or featureless scene. Unlike the existing methods relying on feature point matching to localize the camera, we exploit the 3D box structure of a typical room layout that meets the Manhattan World property. We first estimate a local layout for each partial scan separately and then combine these local layouts to form a globally aligned layout with loop closure. We validate our method quantitatively and qualitatively on real and synthetic scenes of various sizes and complexities. The evaluations and comparisons show superior effectiveness and accuracy of our method.

研究动机与目标

• 解决在3D重建过程中，大场景或特征稀疏环境中相机跟踪失败的挑战。
• 提升在缺乏显著视觉特征场景中的定位精度。
• 利用房间几何结构的结构先验，联合估计相机位姿与房间布局。
• 通过结合部分扫描形成全局一致的布局，实现鲁棒的重建。

提出的方法

• 该方法利用曼哈顿世界假设，为每个部分扫描估计局部3D房间布局，该假设强制要求平面相互正交。
• 将房间建模为3D箱体结构，利用典型室内环境的几何约束。
• 通过包含回环检测的全局优化框架，对局部布局进行精炼与对齐。
• 该方法通过利用扫描间的一致性结构，避免依赖特征点匹配。
• 采用联合优化框架，同时优化相机位姿与布局参数，以最小化几何不一致性。
• 通过共享的结构约束对齐部分重建的估计布局，实现部分重建的整合。

实验结果

研究问题

• RQ1 平面图先验是否能提升在特征匹配失败的大场景或特征稀疏场景中的相机位姿估计性能？
• RQ2 局部房间布局在多大程度上能被整合为全局一致的3D重建？
• RQ3 强制实施曼哈顿世界特性是否能提升布局与位姿估计的准确性？
• RQ4 在缺乏可靠特征的情况下，回环检测在多大程度上能改善部分扫描的对齐效果？

主要发现

• 与基于特征的方法相比，该方法在大场景或特征稀疏场景中实现了更优的相机位姿估计精度。
• 利用平面图先验，即使在特征点匹配失败的情况下，也能实现鲁棒的重建。
• 通过回环检测实现的全局布局对齐，显著提升了部分扫描之间的一致性。
• 该方法在不同复杂度的真实与合成场景中均表现出色。
• 定量评估证实了几何一致性的提升和重建误差的降低。
• 该方法在不同尺寸和结构复杂度的场景中均保持了高精度。