[论文解读] LEGO: Learning Edge with Geometry all at Once by Watching Videos

Zhenheng Yang, Peng Wang+3 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Vision and Imaging参考文献 52被引用 21

一句话总结

LEGO 提出一种自监督方法，通过利用跨语义类别间的几何一致性，将相关类别（如道路、人行道）合并为统一表面，并从合并的分割结果中提取边缘，从而从视频数据中生成几何边缘标注。其主要贡献是通过视频实现端到端的边缘真实值生成，无需人工标注即可实现精确的几何边缘检测。

ABSTRACT

Learning to estimate 3D geometry in a single image by watching unlabeled videos via deep convolutional network is attracting significant attention. In this paper, we introduce a "3D as-smooth-as-possible (3D-ASAP)" prior inside the pipeline, which enables joint estimation of edges and 3D scene, yielding results with significant improvement in accuracy for fine detailed structures. Specifically, we define the 3D-ASAP prior by requiring that any two points recovered in 3D from an image should lie on an existing planar surface if no other cues provided. We design an unsupervised framework that Learns Edges and Geometry (depth, normal) all at Once (LEGO). The predicted edges are embedded into depth and surface normal smoothness terms, where pixels without edges in-between are constrained to satisfy the prior. In our framework, the predicted depths, normals and edges are forced to be consistent all the time. We conduct experiments on KITTI to evaluate our estimated geometry and CityScapes to perform edge evaluation. We show that in all of the tasks, i.e.depth, normal and edge, our algorithm vastly outperforms other state-of-the-art (SOTA) algorithms, demonstrating the benefits of our approach.

研究动机与目标

• 通过从视频数据中生成几何边缘真实值，消除对手动边缘标注的需求。
• 通过在语义相关但几何相连的类别（例如道路与人行道）之间强制执行几何一致性，提高边缘检测的准确性。
• 开发一种自监督框架，直接从视频序列中学习几何结构。
• 将语义上不同但几何相连的类别（例如电线杆、交通标志）统一为单一表面，以实现一致的边缘提取。
• 通过结合几何约束与基于视频的学习，实现端到端的边缘监督。

提出的方法

• 将共享同一3D表面的语义类别（例如“道路”、“人行道”、“停车场”）合并为单一统一类别，以确保几何连续性。
• 从合并的分割结果边界生成边缘真实值，同时保留实例间的边缘。
• 应用几何约束：对于同一3D表面上的点，表面法线必须一致（公式4）。
• 施加线一致性：对于位于同一3D直线上的三个共线点，连续点对之间的梯度必须相等（公式5）。
• 使用代数约束（例如平面方程 a₁x + b₁y + c₁z = 1）来形式化直线与表面的一致性。
• 通过强制同一表面或直线上的点保持一致的法线和梯度关系，从视频数据中推导出几何一致性。

实验结果

研究问题

• RQ1 能否在无需人工标注的情况下，仅从视频中自动生成几何边缘标注？
• RQ2 如何将语义上不同但几何相连的类别（例如道路与人行道）统一，以改善边缘检测？
• RQ3 可在视频帧之间用于强制边缘预测一致性的几何约束有哪些？
• RQ4 基于视频的自监督学习能否实现与人工标注数据相当的准确边缘真实值？
• RQ5 几何约束（法线一致性和梯度一致性）如何提升边缘检测性能？

主要发现

• 该方法成功通过合并共享同一3D表面的语义类别（如“地面”、“电线杆”、“骑行人”和“墙壁”）生成几何边缘真实值。
• 通过在几何一致类别合并过程中保持实例间的边缘，实现了跨实例边界的边缘检测。
• 通过数学约束强制执行几何一致性：同一3D表面上的点其法线必须相等（公式4）。
• 对于位于同一3D直线上的三个共线点，每对点之间的梯度必须完全相同，该关系在公式5中形式化。
• 使用平面方程（例如 a₁x + b₁y + c₁z = 1）可实现对直线与表面一致性的代数验证。
• 该框架实现了从视频端到端的几何边缘监督，消除了对人工边缘标注的依赖。