[论文解读] FrameNet: Learning Local Canonical Frames of 3D Surfaces from a Single RGB Image

Jingwei Huang, Yichao Zhou+2 more|arXiv (Cornell University)|Mar 29, 2019

Advanced Vision and Imaging参考文献 40被引用 4

一句话总结

FrameNet 提出了一种深度学习框架，通过联合回归表面法向量和切向主方向，从单张 RGB 图像中预测 3D 表面的局部规范框架（LCFs）。通过引入一种强制几何一致性的联合损失函数，该方法提升了法向量估计的准确性，并实现了鲁棒的 3D 感知图像操作，在 NYUv2 和 ScanNet 上实现了最先进性能，预测结果具有一致性与细节性，且在增强现实（AR）应用中显著提升了特征匹配效果。

ABSTRACT

In this work, we introduce the novel problem of identifying dense canonical 3D coordinate frames from a single RGB image. We observe that each pixel in an image corresponds to a surface in the underlying 3D geometry, where a canonical frame can be identified as represented by three orthogonal axes, one along its normal direction and two in its tangent plane. We propose an algorithm to predict these axes from RGB. Our first insight is that canonical frames computed automatically with recently introduced direction field synthesis methods can provide training data for the task. Our second insight is that networks designed for surface normal prediction provide better results when trained jointly to predict canonical frames, and even better when trained to also predict 2D projections of canonical frames. We conjecture this is because projections of canonical tangent directions often align with local gradients in images, and because those directions are tightly linked to 3D canonical frames through projective geometry and orthogonality constraints. In our experiments, we find that our method predicts 3D canonical frames that can be used in applications ranging from surface normal estimation, feature matching, and augmented reality.

研究动机与目标

• 从单张 RGB 图像中学习 3D 表面的局部规范框架（LCFs），无需显式的 3D 监督。
• 通过投影切向主方向引入几何先验，改进表面法向量估计。
• 实现一致的 3D 感知图像操作，例如在增强现实（AR）中插入刚性或可变形物体。
• 通过训练期间引入几何监督，减少合成数据与真实世界数据集之间的领域差距问题。

提出的方法

• 使用联合损失函数进行深度神经网络训练，从单张 RGB 图像中回归表面法向量和投影切向主方向。
• 采用多任务学习设置，网络在最后一层输出 13 维特征，包括法向量和切向方向预测。
• 在训练过程中使用固定的 1e-5 学习率，并将输入图像处理为 320x240 分辨率。
• 利用预测法向量与切向方向之间的几何一致性，增强监督信号并减少预测误差。
• 在特征匹配中应用透视校正，结合 SIFT 方法，相比标准 SIFT 提升了对应点匹配的准确性。
• 在合成数据集（SunCG）上预训练后，于真实世界数据集（NYUv2、ScanNet）上验证性能，展示了零样本泛化能力。

实验结果

研究问题

• RQ1 能否通过深度学习从单张 RGB 图像中有效预测局部规范框架，而无需显式 3D 监督？
• RQ2 联合监督表面法向量与切向主方向在多大程度上提升了法向量估计的准确性？
• RQ3 所提出方法在合成数据（SunCG）与真实世界数据（NYUv2、ScanNet）之间的领域分布差异下，泛化能力如何？
• RQ4 预测的规范框架是否能实现更准确且一致的 3D 感知图像操作，例如在增强现实中的应用？
• RQ5 通过切向方向监督引入几何先验，是否能带来更优的特征匹配效果并减少预测误差？

主要发现

• 在 ScanNet 上预训练的 DORN-Ours 模型在 NYUv2 上表现最佳，平均误差为 21.99°，中位数误差为 14.29°，均方根误差（RMSE）为 29.87°，优于所有基线模型。
• 在 SunCG 数据集上，所有采用联合损失的模型（如 DORN-Ours）将平均误差从 12.90° 降低至 12.38°，RMSE 从 24.12° 降低至 23.34°，显示出一致的性能提升。
• 可视化结果表明，预测的表面法向量在物体边界处误差更少，且能更好地捕捉小物体的细节。
• 投影后的切向主方向在视觉上与真实值一致，且符合人类直觉，表明几何监督有效。
• 结合透视校正的 SIFT 方法在特征匹配中产生了比标准 SIFT 更多正确的对应点，定量与定性对比均验证了这一点。
• 增强现实结果表明，在插入 3D 物体或图像时，实现了局部一致的透视对齐，证实了预测规范框架的实用性。