[论文解读] Backtracking Regression Forests for Accurate Camera Relocalization

Lili Meng, Jianhui Chen+4 more|arXiv (Cornell University)|Oct 22, 2017

Robotics and Sensor-Based Localization参考文献 25被引用 14

一句话总结

本文提出回溯回归随机森林（BTBRF），通过引入样本平衡目标以实现更均衡的树分裂，并提出一种新颖的回溯机制，以纠正贪婪分裂导致的错误2D-3D对应关系预测。该方法在无需推理阶段使用深度图像的情况下，实现了室内和室外场景下高精度的仅RGB相机重定位，且在公开基准测试中达到最先进性能。

ABSTRACT

Camera relocalization plays a vital role in many robotics and computer vision tasks, such as global localization, recovery from tracking failure, and loop closure detection. Recent random forests based methods directly predict 3D world locations for 2D image locations to guide the camera pose optimization. During training, each tree greedily splits the samples to minimize the spatial variance. However, these greedy splits often produce uneven sub-trees in training or incorrect 2D-3D correspondences in testing. To address these problems, we propose a sample-balanced objective to encourage equal numbers of samples in the left and right sub-trees, and a novel backtracking scheme to remedy the incorrect 2D-3D correspondence predictions. Furthermore, we extend the regression forests based methods to use local features in both training and testing stages for outdoor RGB-only applications. Experimental results on publicly available indoor and outdoor datasets demonstrate the efficacy of our approach, which shows superior or on-par accuracy with several state-of-the-art methods.

研究动机与目标

• 解决回归随机森林在相机重定位中因贪婪分裂导致的2D-3D对应关系预测不准确问题。
• 通过在子树中强制实现样本平衡，减少训练时间并提高预测精度。
• 在室外环境中实现鲁棒的相机重定位，仅依赖RGB图像，消除对深度数据的依赖。
• 开发一种回溯机制，以纠正次优树分裂导致的错误预测。
• 将基于回归随机森林的方法扩展至仅使用RGB输入即可在室内和室外数据集上实现最先进精度。

提出的方法

• 引入样本平衡目标，在树训练过程中鼓励左右子节点的样本分布均衡，从而减少由贪婪空间方差最小化引起的不平衡。
• 提出一种回溯机制，在推理阶段探索多个叶节点，以选择最优的2D-3D对应关系预测，纠正次优分裂导致的错误。
• 在训练和测试中均集成SIFT局部特征到回归随机森林中，实现无需深度监督的仅RGB图像相机重定位。
• 采用多阶段推理流程：特征提取、回归随机森林预测、候选叶节点上的回溯，以及基于RANSAC的位姿优化。
• 采用最大回溯叶节点数量（N_max = 16）以限制计算成本，同时提升精度。
• 使用T=5棵树训练随机森林，每棵树分别使用500张（室内）或300张（室外）图像，每张图像采样5,000个像素用于训练。

实验结果

研究问题

• RQ1 样本平衡目标能否提升回归随机森林在相机重定位中的准确率与效率？
• RQ2 在多个叶节点上进行回溯能否纠正由贪婪分裂导致的错误2D-3D对应关系预测？
• RQ3 回归随机森林能否在仅使用RGB图像的室外场景中实现高精度相机重定位？
• RQ4 回溯叶节点的数量如何影响最终的重定位精度？
• RQ5 将局部特征集成到回归随机森林中，能否在无深度监督的仅RGB数据集上实现鲁棒性能？

主要发现

• 所提出的样本平衡目标通过在分裂过程中最小化树不平衡，减少了训练时间并提高了预测精度。
• 对最多16个叶节点进行回溯显著降低了中位数平移误差与旋转误差，且最大收益出现在前5个节点内。
• 在Cambridge Landmark数据集中，BTBRF实现了1.25厘米的中位数平移误差与0.42°的中位数旋转误差，优于多项最先进方法。
• 在TUM RGB-D数据集中，BTBRF实现了1.85厘米的中位数平移误差与0.65°的中位数旋转误差，性能与现有方法相当或更优。
• 该方法在仅使用RGB图像的情况下，于室内和室外数据集上均实现了高精度，证明了基于回归随机森林的无深度相机重定位的可行性。
• 定性结果表明，无论在室内还是室外场景中，相机轨迹估计与位姿对齐均高度准确，与真实值偏差极小。