[论文解读] HCRF-Flow: Scene Flow from Point Clouds with Continuous High-order CRFs and Position-aware Flow Embedding

Ruibo Li, Guosheng Lin+3 more|arXiv (Cornell University)|May 17, 2021

Advanced Vision and Imaging参考文献 48被引用 5

一句话总结

HCRF-Flow 提出了一种新颖的场景光流估计框架，通过将深度神经网络与连续高阶条件随机场（Con-HCRFs）相结合，在3D点云中同时实现逐点平滑性与区域刚性运动一致性。通过引入位置感知的光流嵌入以实现鲁棒的匹配代价聚合，并在局部超体素中通过共享参数建模刚性变换，该方法取得了最先进性能，在FlyingThings3D上达到95.07%的Acc3DR，在KITTI上达到94.44%。

ABSTRACT

Scene flow in 3D point clouds plays an important role in understanding dynamic environments. Although significant advances have been made by deep neural networks, the performance is far from satisfactory as only per-point translational motion is considered, neglecting the constraints of the rigid motion in local regions. To address the issue, we propose to introduce the motion consistency to force the smoothness among neighboring points. In addition, constraints on the rigidity of the local transformation are also added by sharing unique rigid motion parameters for all points within each local region. To this end, a high-order CRFs based relation module (Con-HCRFs) is deployed to explore both point-wise smoothness and region-wise rigidity. To empower the CRFs to have a discriminative unary term, we also introduce a position-aware flow estimation module to be incorporated into the Con-HCRFs. Comprehensive experiments on FlyingThings3D and KITTI show that our proposed framework (HCRF-Flow) achieves state-of-the-art performance and significantly outperforms previous approaches substantially.

研究动机与目标

• 解决现有点云场景光流方法将运动视为独立点位移的局限性，忽略局部几何刚性。
• 通过在局部点云区域施加空间平滑性与区域级刚性运动约束，提升运动预测精度。
• 开发一种可微、高效的基于CRF的精炼模块，可集成至现有深度学习点云场景光流流水线中。
• 通过在可学习光流嵌入层中融合位置上下文与代价差异信息，实现鲁棒的匹配代价聚合。

提出的方法

• 提出一种位置感知光流估计（PAFE）模块，利用空间位置与代价差异特征联合计算匹配代价，以改善特征聚合。
• 设计一种新型高阶项的连续高阶CRF（Con-HCRFs），通过参数共享使局部超体素内所有点遵循共享的刚性运动（平移与旋转）。
• 集成成对平滑性项，促使具有相似局部几何结构的邻近点具有相似的光流向量。
• 将Con-HCRFs的能量函数公式化，联合优化一元项、成对项与高阶项，实现与深度网络端到端联合训练。
• 在高阶项中采用近似策略，通过按超体素而非逐点计算刚性参数，降低计算成本。
• 联合训练PAFE与Con-HCRFs模块，利用几何一致性约束对初始光流预测进行精炼。

实验结果

研究问题

• RQ1 通过共享变换参数施加局部刚性运动约束，是否能提升不规则点云上的3D场景光流估计性能？
• RQ2 引入位置感知匹配代价聚合后，对光流预测的鲁棒性与准确性有何影响？
• RQ3 建模区域级刚性的高阶CRF项是否优于传统的成对或简单区域平滑项？
• RQ4 所提出的Con-HCRFs模块能否作为插件有效增强现有基于深度学习的场景光流网络？
• RQ5 该方法在标准基准上的计算效率与可扩展性如何？

主要发现

• HCRF-Flow 在FlyingThings3D上达到95.07%的Acc3DR，在KITTI上达到94.44%，显著优于先前方法，实现最先进性能。
• 消融实验表明，当在PAFE-S模块中加入Con-HCRFs的高阶项时，Acc3DS提升+4.43%，证明其在性能上优于简单区域平滑方法。
• PAFE与Con-HCRFs的联合优化带来进一步增益，使Acc3DS相比PAFE-S基线提升6.21个百分点。
• Con-HCRFs模块在1080Ti GPU上每场景（8192个点）运行时间为228.2ms，其中高阶项仅耗时100.8ms，展现出高效可扩展性。
• 该方法对超体素大小具有鲁棒性，在每个超体素包含140–200个点时达到最优性能，EPE3D为0.0782。
• 若将高阶刚性运动项替换为简单区域平均项，Acc3DS性能下降1.98%，证实了所提刚性建模方法的优越性。