[论文解读] Detecting Vanishing Points using Global Image Context in a Non-Manhattan World

Menghua Zhai, Scott Workman+1 more|arXiv (Cornell University)|Aug 19, 2016

Advanced Vision and Imaging参考文献 34被引用 23

一句话总结

本文提出了一种新颖的基于地平线优先的方法，用于在不假设曼哈顿世界结构的前提下，检测人造场景中的消失点和地平线线。该方法利用深度卷积神经网络提取的全局图像上下文来引导生成地平线线候选，再通过离散-连续优化对每个候选进行评分，以识别一致的消失点，从而在三个基准数据集上实现了最先进水平的准确率与速度。

ABSTRACT

We propose a novel method for detecting horizontal vanishing points and the zenith vanishing point in man-made environments. The dominant trend in existing methods is to first find candidate vanishing points, then remove outliers by enforcing mutual orthogonality. Our method reverses this process: we propose a set of horizon line candidates and score each based on the vanishing points it contains. A key element of our approach is the use of global image context, extracted with a deep convolutional network, to constrain the set of candidates under consideration. Our method does not make a Manhattan-world assumption and can operate effectively on scenes with only a single horizontal vanishing point. We evaluate our approach on three benchmark datasets and achieve state-of-the-art performance on each. In addition, our approach is significantly faster than the previous best method.

研究动机与目标

• 解决在复杂非曼哈顿世界场景中消失点与地平线线检测的挑战，传统方法在这些场景中失效。
• 通过利用全局图像上下文而非仅依赖局部线段特征，提升方法的鲁棒性与准确性。
• 开发一种比现有基于流水线的方法更快、更准确的替代方案，后者先检测消失点再推断地平线线。
• 通过使用学习到的全局上下文作为先验，消除在不同数据集上进行参数调优的需求。

提出的方法

• 该方法利用通过深度卷积神经网络（CNN）提取的全局图像上下文生成地平线线候选，为可能的地平线线提供先验信息。
• 采用离散-连续优化框架，在每个候选地平线线上识别消失点，通过建模线段与其投影消失点之间的一致性。
• 基于检测到的消失点与图像中线段之间的几何一致性，计算每个地平线线候选的最终得分。
• 关键创新在于反转了传统流水线：不是先检测消失点再推断地平线，而是先提出地平线线候选，再通过消失点一致性进行验证。
• 该方法引入了天顶消失点检测步骤，以约束地平线线候选的搜索空间，提升几何精度。
• 避免了曼哈顿世界假设，使其即使在仅存在一个水平消失点的场景中也能有效运行。

实验结果

研究问题

• RQ1 来自深度学习的全局图像上下文能否提升非曼哈顿世界场景中消失点与地平线线检测的准确率与鲁棒性？
• RQ2 与传统的消失点检测流水线相比，地平线优先方法在准确率与效率方面表现如何？
• RQ3 利用深度CNN提取上下文在多大程度上减少了对跨数据集手动参数调优的依赖？
• RQ4 该方法在具有不规则结构或稀疏线段的复杂真实场景中表现如何？

主要发现

• 所提方法在约克城市数据集（YUD）上达到最先进性能，AUC为94.78%。
• 在欧亚城市数据集（ECD）上，AUC达到90.80%，优于先前方法。
• 在具有挑战性的野外地平线线数据集（HLW）上，AUC达到58.24%，显著优于之前最先进方法（52.59% AUC）。
• 该方法比之前最佳方法快逾10倍，平均单张图像推理时间低于60秒。
• 消融实验证明，CNN提取的全局上下文相比GIST描述符与随机森林能显著提升准确率，且消失点检测对性能提升至关重要。
• 失败案例罕见，通常由短边或曲线结构引起，但与其他方法相比，本方法在类似情况下仍能生成合理结果。