[论文解读] FroDO: From Detections to 3D Objects

Kejie Li, Martin Rünz+9 more|arXiv (Cornell University)|May 11, 2020

Robotics and Sensor-Based Localization参考文献 5被引用 13

一句话总结

FroDO 提出了一种新颖的框架，通过结合2D检测过滤、基于狄利克雷过程的线段聚类以及共享的DeepSDF与点云自编码器进行密集优化，实现了从单视角RGB图像进行3D物体重建。该方法在Redwood-OS数据集上实现了10.57 cm的平均Chamfer距离，重建精度达到当前最先进水平，且在速度和遮挡鲁棒性方面显著优于先前方法。

ABSTRACT

Object-oriented maps are important for scene understanding since they jointly capture geometry and semantics, allow individual instantiation and meaningful reasoning about objects. We introduce FroDO, a method for accurate 3D reconstruction of object instances from RGB video that infers object location, pose and shape in a coarse-to-fine manner. Key to FroDO is to embed object shapes in a novel learnt space that allows seamless switching between sparse point cloud and dense DeepSDF decoding. Given an input sequence of localized RGB frames, FroDO first aggregates 2D detections to instantiate a category-aware 3D bounding box per object. A shape code is regressed using an encoder network before optimizing shape and pose further under the learnt shape priors using sparse and dense shape representations. The optimization uses multi-view geometric, photometric and silhouette losses. We evaluate on real-world datasets, including Pix3D, Redwood-OS, and ScanNet, for single-view, multi-view, and multi-object reconstruction.

研究动机与目标

• 为解决在有限监督下从单视角RGB图像重建精确3D物体形状的挑战。
• 通过在3D优化前过滤噪声或模糊的2D检测，提升重建质量。
• 通过在共享潜在码空间中结合稀疏与密集表示，实现高效且鲁棒的3D形状优化。
• 通过自适应采样和金字塔优化策略，在保持高精度的同时降低计算成本。
• 通过手动分割的3D物体形状增强Redwood-OS数据集，提供真实世界基准。

提出的方法

• 使用三个标准进行2D检测过滤：边界框大小、遮挡程度（通过IoU衡量）以及与其他物体的重叠度，设定阈值以剔除低质量检测。
• 基于狄利克雷过程（DP）的均值聚类将检测得到的3D线段聚合成物体簇，无需预先知道簇的数量，使用0.4的距离阈值。
• 为点云和DeepSDF表示共享一个64维潜在码空间，实现联合优化并提升形状重建效率。
• 利用链式法则和SDF梯度的伪逆，推导出解析的偏导数∂x/∂z，实现在优化过程中对表面坐标进行可微更新。
• 密集优化采用自适应采样策略，引入截断因子δ，提高物体边界附近的分辨率，并使用网格代理实现高效渲染与梯度计算。
• 采用多尺度金字塔方案，通过在多个分辨率层级处理检测，加速收敛、降低内存占用，并提升对不良初始值的鲁棒性。

实验结果

研究问题

• RQ1 基于3D边界框投影的2D检测过滤是否能提升初始3D形状估计的质量？
• RQ2 与固定K聚类相比，基于狄利克雷过程的聚类在处理噪声或不完整检测时是否更具鲁棒性？
• RQ3 在点云与SDF表示上进行联合优化，在多大程度上提升了重建精度与效率？
• RQ4 自适应采样与基于金字塔的优化是否能显著缩短运行时间而不损失精度？
• RQ5 所提方法在具有真实3D形状标注的真实世界多视角RGBD序列上表现如何？

主要发现

• 在Redwood-OS数据集上的消融实验表明，利用3D边界框投影过滤遮挡视图，可将平均Chamfer距离从12.17 cm降低至10.57 cm。
• 所提方法在Redwood-OS数据集上实现了10.57 cm的平均Chamfer距离，相比先前方法展现出更优的精度。
• 稀疏优化阶段每轮迭代耗时0.07秒，比PMO（12.59秒/轮）快两个数量级，也快于密集优化（4.96秒/轮）。
• 联合嵌入架构通过学习共享的64D码空间，有效保留了不同表示之间的几何与拓扑细节，实现了高质量形状重建。
• 在Redwood-OS数据集上的定性结果表明，FroDO生成的3D重建比稀疏COLMAP、密集COLMAP和KinectFusion更精确、更完整。
• ∂Gd/∂z的可视化显示，单个码空间分量的变化会影响物体的多个区域，证实了模型对形状码变化的敏感性。