[论文解读] A Geometric Approach to Obtain a Bird's Eye View from an Image

Ammar N. Abbas, Andrew Zisserman|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging参考文献 38被引用 18

一句话总结

本文提出一种几何深度学习方法，通过仅回归四个关键参数——垂直消失点和视平线（若焦距已知则为两个）——从单张单目图像生成视角校正的鸟瞰图。利用一种新颖的几何表示方法和大规模合成数据集（CARLA-VP），该方法在《野外视平线》（Horizon Lines in the Wild）基准上实现了74.52%的AUC，达到当前最先进水平，可实现实时、鲁棒的校正，适用于视频监控和三维场景理解等应用。

ABSTRACT

The objective of this paper is to rectify any monocular image by computing a homography matrix that transforms it to a bird's eye (overhead) view. We make the following contributions: (i) we show that the homography matrix can be parameterised with only four parameters that specify the horizon line and the vertical vanishing point, or only two if the field of view or focal length is known; (ii) We introduce a novel representation for the geometry of a line or point (which can be at infinity) that is suitable for regression with a convolutional neural network (CNN); (iii) We introduce a large synthetic image dataset with ground truth for the orthogonal vanishing points, that can be used for training a CNN to predict these geometric entities; and finally (iv) We achieve state-of-the-art results on horizon detection, with 74.52% AUC on the Horizon Lines in the Wild dataset. Our method is fast and robust, and can be used to remove perspective distortion from videos in real time.

研究动机与目标

• 开发一种基于几何原理的方法，用于校正单目图像中的透视失真，以生成准确的鸟瞰图。
• 将单应性矩阵的参数化从八个减少到仅四个几何参数——垂直消失点与视平线，从而实现高效且稳定的训练。
• 解决现有方法在视平线位于图像之外时失效的局限性，通过合成数据实现鲁棒训练。
• 构建一个大规模、高精度的合成数据集（CARLA-VP），包含正交消失点与相机参数的真值，以有效训练卷积神经网络。
• 通过最小化计算开销并支持跨帧参数平均，实现实时视频处理应用。

提出的方法

• 单应性矩阵仅基于四个几何参数推导得出：垂直消失点与地面平面消失线（即视平线），显著减少了参数空间。
• 提出一种新颖的几何表示方法，用于编码消失点与直线（即使位于无穷远），使其适用于端到端深度学习中的卷积神经网络。
• 生成大规模合成数据集CARLA-VP，提供所有三个正交消失点、相机内参及姿态（俯仰/翻滚角）的精确真值，支持鲁棒训练。
• 该方法使用卷积神经网络在一次前向传播中预测消失点与视平线，避免了先前方法中常见的后处理步骤。
• 通过基于预测参数的一系列简单几何变换（旋转、平移、缩放）重建单应性矩阵，确保几何正确性。
• 通过避免迭代优化实现实时性能，单张图像推理时间约为40 ms（GTX 1050 Ti），支持25 FPS视频流处理。

实验结果

研究问题

• RQ1 是否可通过单应性矩阵的最小几何参数化降低复杂度并提升鸟瞰图校正的鲁棒性？
• RQ2 能否有效利用合成数据训练深度神经网络，以预测消失点与直线，即使这些特征位于图像之外？
• RQ3 一种能处理无穷远点与直线的新几何表示方法，是否相比标准回归方法能提升卷积神经网络在视平线检测中的性能？
• RQ4 通过视频帧间参数平均是否能提升相机参数估计的稳定性与准确性，特别是对焦距的估计？
• RQ5 所提方法是否在真实世界基准上优于当前最先进方法，尤其在视平线不可见的情况下？

主要发现

• 在《野外视平线》（HLW）基准上，该方法达到74.52%的AUC，超越Workman等人（2023）的SOTA结果71.16%。
• 模型在真实世界图像上泛化良好，定性结果表明校正后的鸟瞰图中车道标线与道路尺寸保持了正确的几何比例。
• 该方法对图像外的视平线具有鲁棒性，而此前依赖可见视平线标注的方法在该情况下会失效。
• 模型在GTX 1050 Ti上运行速度达25 FPS，支持实时视频流处理，无需后处理或迭代优化。
• 对视频帧间预测结果进行平均可降低焦距估计误差，约400帧后估计值趋近真值。
• 合成数据集CARLA-VP提供了精确且无偏的监督信号，克服了真实世界数据集中因视平线多可见而产生的标注偏差。