[论文解读] FlowNet3D++: Geometric Losses For Deep Scene Flow Estimation

Zirui Wang, Shuda Li+3 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Vision and Imaging参考文献 4被引用 5

一句话总结

FlowNet3D++ 通过将几何损失（点到平面距离和余弦角度对齐）整合到 FlowNet3D 框架中，提升了深度场景流估计的精度，在 KITTI 数据集上的准确率从 57.85% 提高到 63.43%。此外，该工作提出了一项动态 3D 重建基准，其重建误差相比 FlowNet3D 最低降低 15.0%，相比 KillingFusion 提高 35.2%。

ABSTRACT

We present FlowNet3D++, a deep scene flow estimation network. Inspired by classical methods, FlowNet3D++ incorporates geometric constraints in the form of point-to-plane distance and angular alignment between individual vectors in the flow field, into FlowNet3D. We demonstrate that the addition of these geometric loss terms improves the previous state-of-art FlowNet3D accuracy from 57.85% to 63.43%. To further demonstrate the effectiveness of our geometric constraints, we propose a benchmark for flow estimation on the task of dynamic 3D reconstruction, thus providing a more holistic and practical measure of performance than the breakdown of individual metrics previously used to evaluate scene flow. This is made possible through the contribution of a novel pipeline to integrate point-based scene flow predictions into a global dense volume. FlowNet3D++ achieves up to a 15.0% reduction in reconstruction error over FlowNet3D, and up to a 35.2% improvement over KillingFusion alone. We will release our scene flow estimation code later.

研究动机与目标

• 提升基于点云的深度场景流估计精度，超越标准的 L2 损失。
• 将经典配准方法中的几何先验融入深度学习，以提升流估计性能。
• 设计一个涵盖动态 3D 重建的综合评估基准，超越孤立指标。
• 设计一个将稀疏场景流预测整合到密集全局体素中的处理流程。
• 通过消融实验和在公开数据集上的对比实验，验证几何约束的有效性。

提出的方法

• 引入一种受 ICP 启发的点到平面（pp）损失项，惩罚预测流向量与邻近点所定义平面之间的垂直距离。
• 应用余弦距离（cos）损失，强制预测流向量与真实流向量之间的角度对齐，提升方向准确性。
• 在训练过程中联合使用 L2、pp 和 cos 损失，以同时优化流的幅值和方向精度。
• 提出一种新型动态融合流程，通过可变形体素更新策略，将稀疏场景流预测融合为全局密集体素重建。
• 采用多阶段训练策略，训练周期延长至 200 个周期，以评估几何损失组合的收敛性和稳定性。
• 使用 KITTI、Snoopy 和 Duck 数据集进行评估，通过真实网格数据实现定量的重建误差分析。

实验结果

研究问题

• RQ1 几何约束（如点到平面距离和角度对齐）是否能超越 L2 损失，提升深度场景流估计性能？
• RQ2 几何损失如何影响 3D 场景流网络的训练收敛性和稳定性？
• RQ3 动态 3D 重建能否作为比孤立指标更全面、更实用的场景流估计评估基准？
• RQ4 将场景流预测整合到密集体素中是否能显著提升重建质量？
• RQ5 何种几何损失组合能最大化场景流估计精度和重建保真度？

主要发现

• 在 KITTI 数据集上，L2 损失与点到平面损失和余弦损失联合使用，使场景流精度从 57.85% 提升至 63.43%。
• 几何损失组合显著提升了训练收敛性和稳定性，其性能在 200 个周期时仍持续增长，而仅使用 L2 或单一几何损失的模型则未表现出此趋势。
• 在动态 3D 重建中，FlowNet3D++ 相较于 FlowNet3D 将平均重建误差降低最多达 15.0%。
• 在 Snoopy 和 Duck 数据集上，FlowNet3D++ 相较于仅使用 KillingFusion 的方法，重建误差降低最多达 35.2%。
• 消融实验表明，pp 和 cos 损失的组合表现最佳，尤其在训练周期延长至 200 个周期时更为显著。
• 所提出的平均角度误差指标能有效捕捉方向偏差，补充了 EPE 的不足，揭示了仅依赖 EPE 在评估流方向精度方面的局限性。