[论文解读] Future Segmentation Using 3D Structure

Suhani Vora, Reza Mahjourian+2 more|arXiv (Cornell University)|Nov 28, 2018

Robotics and Sensor-Based Localization参考文献 22被引用 4

一句话总结

本文提出了一种新颖的方法，通过利用3D场景结构进行未来语义分割，结合学习到的深度估计和自身运动预测。通过将过去的语义掩码经由预测的3D刚性变换（SE3）进行变换，该方法实现了最先进性能，相较于基线方法IoU最高提升12.5%，并在无需未来RGB或运动数据的情况下，实现了长达0.9秒的准确预测。

ABSTRACT

Predicting the future to anticipate the outcome of events and actions is a critical attribute of autonomous agents; particularly for agents which must rely heavily on real time visual data for decision making. Working towards this capability, we address the task of predicting future frame segmentation from a stream of monocular video by leveraging the 3D structure of the scene. Our framework is based on learnable sub-modules capable of predicting pixel-wise scene semantic labels, depth, and camera ego-motion of adjacent frames. We further propose a recurrent neural network based model capable of predicting future ego-motion trajectory as a function of a series of past ego-motion steps. Ultimately, we observe that leveraging 3D structure in the model facilitates successful prediction, achieving state of the art accuracy in future semantic segmentation.

研究动机与目标

• 通过引入3D场景几何结构而非仅依赖RGB或2D空间特征，提升未来语义分割性能。
• 通过从单目视频中学习3D变换，实现在无外部传感器条件下对长时程未来帧的准确预测。
• 通过在语义和几何空间中操作而非原始像素空间，减少未来预测中的模糊和不确定性。
• 开发一种自监督框架，仅从视频中联合学习深度、自身运动和未来轨迹。
• 证明3D结构与运动建模能显著提升未来帧的分割准确性。

提出的方法

• 该方法使用联合模型从单目RGB视频中预测深度和自身运动，从而实现从过去帧重建3D场景。
• 利用预测的深度将过去帧的语义分割掩码投影到3D空间，形成3D点云。
• 通过预测的未来自身运动（SE3变换）对3D点云进行变换，模拟智能体的未来视角。
• 将变换后的3D点云重新投影回2D图像空间，生成未来语义分割掩码。
• 训练一个循环神经网络（RNN）以从过去的自身运动序列中预测未来的自身运动轨迹，提升长期预测的准确性。
• 在每次变换步骤后应用修复模块，以减轻因缺失或无效深度值导致的误差累积。

实验结果

研究问题

• RQ1 3D几何结构是否能超越2D像素级预测，提升未来语义分割的准确性？
• RQ2 从过去运动序列中学习未来自身运动轨迹，对长期分割性能有何影响？
• RQ3 结合3D深度和运动在多大程度上能减少未来帧预测中的模糊和不确定性？
• RQ4 自监督模型是否能仅从单目视频中学习深度和自身运动，以实现准确的未来分割？
• RQ5 使用3D刚性变换（SE3）是否能为未来预测提供比直接自回归或GAN方法更结构化、更可靠的路径？

主要发现

• 该方法实现了最先进性能，在16→19预测任务中，结合运动变换、修复和学习到的未来自身运动，平均IoU达到0.6147。
• 在16→19任务中，引入学习到的未来自身运动使IoU相比运动变换+修复基线提升1.5%。
• 当使用估计的自身运动时，该模型在4→19任务中实现了36.8%的IoU，表明准确的运动预测对长期性能至关重要。
• 修复模块有效减轻误差累积，尤其在较长时序（如16→19）中效果显著，因缺失值更常见。
• 误差分析表明，主要误差来源为自身运动估计不足和遮挡，提示在运动预测和几何建模方面仍有改进空间。
• 该方法成功实现了长达0.9秒的未来语义分割预测，证明其在实时自主决策中的可行性。