[论文解读] From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction

Evin Pınar Örnek, Shristi Mudgal+4 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种用于单目深度预测（MDP）的3D感知评估框架，将关注点从2D指标转向基于新颖指标（如F-score）和新基准RIO-D3D的3D几何质量，该基准包含来自RGB-D重建的高质量、完整的3D深度图。主要贡献在于证明了2D指标（如absrel）无法反映真实的3D结构准确性，而3D指标（如F-score）则更符合定性性能表现，并提升了MDP与3D场景补全的基准评估水平。

ABSTRACT

There have been numerous recently proposed methods for monocular depth prediction (MDP) coupled with the equally rapid evolution of benchmarking tools. However, we argue that MDP is currently witnessing benchmark over-fitting and relying on metrics that are only partially helpful to gauge the usefulness of the predictions for 3D applications. This limits the design and development of novel methods that are truly aware of - and improving towards estimating - the 3D structure of the scene rather than optimizing 2D-based distances. In this work, we aim to bring structural awareness to MDP, an inherently 3D task, by exhibiting the limits of evaluation metrics towards assessing the quality of the 3D geometry. We propose a set of metrics well suited to evaluate the 3D geometry of MDP approaches and a novel indoor benchmark, RIO-D3D, crucial for the proposed evaluation methodology. Our benchmark is based on a real-world dataset featuring high-quality rendered depth maps obtained from RGB-D reconstructions. We further demonstrate this to help benchmark the closely-tied task of 3D scene completion.

研究动机与目标

• 解决由于依赖无法反映真实3D结构准确性的2D基准指标而导致的单目深度预测（MDP）基准过拟合问题。
• 揭示当前2D指标（如absrel）在将深度预测反投影至3D空间时，对几何保真度捕捉能力的局限性。
• 提出一种基于3D指标（尤其是F-score）的新评估协议，以更准确地量化结构质量并匹配真实3D几何。
• 引入RIO-D3D，一个大规模真实室内基准，包含高质量、去噪、完整的3D深度图，以及法线、遮挡和语义标注，适用于MDP与3D场景补全任务。
• 通过提供源自相同重建结果的完整3D网格和部分深度输入，实现对3D场景补全更准确的基准评估。

提出的方法

• 设计基于chamfer距离（CD）、Earth Mover’s Distance（EMD）、交并比（IoU）和F-score等指标的3D评估协议，以评估深度预测的3D结构质量。
• 开发RIO-D3D，一个源自高分辨率RGB-D重建的大规模室内数据集，确保提供完整、去噪且准确的3D深度真值。
• 采用基于点云的IoU和F-score作为主要评估指标，因其对k近邻（knn）匹配误差具有更强鲁棒性，并对结构保真度更敏感。
• 在RIO-D3D上同时使用2D与3D指标对比SOTA MDP与3D场景补全模型，以揭示2D得分与3D结构质量之间的脱节现象。
• 将语义标注与遮挡掩码整合至RIO-D3D，以支持语义感知的深度预测与场景补全。
• 公开发布RIO-D3D数据集与评估代码，以促进3D感知基准评估的可复现性与社区采纳。

实验结果

研究问题

• RQ1 常用2D指标（如absrel）与预测深度图的实际3D几何结构之间的相关性如何？
• RQ2 在真实3D场景中，CD、EMD、IoU或F-score中哪项3D指标最能反映深度预测的结构准确性和鲁棒性？
• RQ3 真值深度数据质量（如噪声水平、完整性）如何影响MDP基准评估的可靠性与模型泛化能力？
• RQ4 一个具备高质量、完整3D深度图的新基准是否能提升3D感知MDP与3D场景补全方法的评估与开发？
• RQ5 在RIO-D3D上，SOTA MDP与3D场景补全模型在使用3D指标与传统2D指标评估时的表现差异如何？

主要发现

• 即使深度预测的3D结构质量较差，2D指标（如absrel）仍表现出较低方差，表明其无法检测结构不准确性。
• F-score在反映结构质量方面始终优于CD与EMD，因其结合了精确率与召回率，且对knn匹配误差具有鲁棒性。
• F-score比IoU与EMD更可靠，因其避免了分数的突然跃升，并能更好地量化正确重建的3D点比例。
• 在RIO-D3D上，体素化场景补全模型（如ForkNet）在CD与EMD指标上均优于基于点的模型（如GRNet、MSN），表明网络架构对3D保真度有显著影响。
• SOTA MDP模型虽在absrel指标上得分较高，但其反投影后的3D结构质量往往较差，凸显了2D优化与3D实用性之间的脱节。
• 所提出的F-score指标在absrel值相近的模型间表现出更大的方差，因此作为3D结构质量的指示器，比2D指标更具信息量。