[论文解读] Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation

Zhaoyang Lv, Kihwan Kim+4 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Vision and Imaging参考文献 26被引用 12

一句话总结

本文提出了一种深度学习框架，通过联合估计刚性与相机运动，提升动态场景中移动相机的3D运动场（场景光流）估计性能。利用半合成RGB-D数据集REFRESH，该方法预测像素级刚性掩码，并通过光流与刚性区域优化自运动估计，在具有显著非刚性运动的复杂动态场景中，性能优于当前最先进方法。

ABSTRACT

Estimation of 3D motion in a dynamic scene from a temporal pair of images is a core task in many scene understanding problems. In real world applications, a dynamic scene is commonly captured by a moving camera (i.e., panning, tilting or hand-held), increasing the task complexity because the scene is observed from different view points. The main challenge is the disambiguation of the camera motion from scene motion, which becomes more difficult as the amount of rigidity observed decreases, even with successful estimation of 2D image correspondences. Compared to other state-of-the-art 3D scene flow estimation methods, in this paper we propose to \emph{learn} the rigidity of a scene in a supervised manner from a large collection of dynamic scene data, and directly infer a rigidity mask from two sequential images with depths. With the learned network, we show how we can effectively estimate camera motion and projected scene flow using computed 2D optical flow and the inferred rigidity mask. For training and testing the rigidity network, we also provide a new semi-synthetic dynamic scene dataset (synthetic foreground objects with a real background) and an evaluation split that accounts for the percentage of observed non-rigid pixels. Through our evaluation we show the proposed framework outperforms current state-of-the-art scene flow estimation methods in challenging dynamic scenes.

研究动机与目标

• 解决在移动相机拍摄的动态场景中，区分相机运动与场景运动的挑战。
• 通过从带有深度的图像对中学习像素级刚性，提升3D运动场（场景光流）估计性能。
• 开发一个可扩展的半合成数据集（REFRESH），结合真实背景与合成运动前景，以实现更优的监督与泛化能力。
• 通过融合学习到的刚性信息与2D光流，实现对自运动与投影场景光流的精确估计。

提出的方法

• 采用双流神经网络架构，处理连续的RGB-D图像对，联合预测刚性掩码与相对相机位姿。
• 利用刚性掩码通过在刚性区域内的密集光流对应关系上进行最小二乘优化，以优化估计的相机位姿。
• 光流优化模块利用刚性掩码与光流，提升对应关系精度，以支持3D运动场计算。
• 该方法使用半合成数据集（REFRESH），结合真实静态背景与合成非刚性人体运动，为刚性、深度、光流与位姿提供精确真实值。
• 该框架在大规模动态场景数据上以监督方式训练，实现从RGB-D输入端到端预测场景光流。
• 通过引入新的测试划分，考虑非刚性像素占比，实现不同场景动态性下的公平比较。

实验结果

研究问题

• RQ1 深度神经网络能否在移动相机拍摄的动态场景中有效预测像素级刚性，从而提升3D运动场估计性能？
• RQ2 从半合成数据中学习刚性后，其在含噪声与运动模糊的真实RGB-D序列中的泛化能力如何？
• RQ3 与当前最先进方法相比，引入刚性感知的位姿优化在多大程度上提升了场景光流估计的准确性？
• RQ4 学习到的刚性掩码能否优于依赖几何先验或聚类的传统方法，在运动解耦中表现更优？
• RQ5 当场景中仅有一小部分为刚性时，该框架在不同非刚性运动水平下的表现如何，特别是在小物体或慢速移动物体场景中？

主要发现

• 所提方法在Sintel与TUM RGB-D基准测试中优于当前最先进场景光流估计方法，尤其在高动态内容场景中表现显著。
• 在Sintel数据集上，该方法实现均方根位置误差（RPE(t)）为0.0091，旋转误差（RPE(r)）为0.0020，显著优于ORB-SLAM（0.0894与0.0218）与SRSF（0.0980与0.0180）。
• 在REFRESH数据集上训练的刚性掩码实现平均交并比（IOU）为0.956，表现出强泛化能力，显著优于在Things3D上训练的模型（0.286）或语义刚性基线方法。
• 该方法在TUM真实世界噪声RGB-D数据上泛化良好，即使存在运动模糊与深度噪声，仍能生成合理刚性预测与场景光流。
• 消融实验表明，无需微调的所提框架优于所有SOTA方法，在位姿估计与场景光流预测中均达到最高精度。
• 在小物体或慢速移动物体的挑战性场景中，该框架表现出鲁棒性，刚性预测误差极小，且对3D运动场质量影响可忽略。