[论文解读] Cubes3D: Neural Network based Optical Flow in Omnidirectional Image Scenes

André Apitzsch, Roman Seidel+1 more|arXiv (Cornell University)|Apr 24, 2018

Advanced Vision and Imaging参考文献 20被引用 5

一句话总结

本文提出Cubes3D，一种基于改进的FlowNet 2.0架构的全景图像光流估计方法。通过在鱼眼投影中模拟移动的带纹理立方体生成合成真实值，并证明纹理可显著降低前景光流误差——在Fl-fg指标下，FlowNet2-SD的异常值比例为4.75%，而无纹理物体则高达22.85%。

ABSTRACT

Optical flow estimation with convolutional neural networks (CNNs) has recently solved various tasks of computer vision successfully. In this paper we adapt a state-of-the-art approach for optical flow estimation to omnidirectional images. We investigate CNN architectures to determine high motion variations caused by the geometry of fish-eye images. Further we determine the qualitative influence of texture on the non-rigid object to the motion vectors. For evaluation of the results we create ground truth motion fields synthetically. The ground truth contains cubes with static background. We test variations of pre-trained FlowNet 2.0 architectures by indicating common error metrics. We generate competitive results for the motion of the foreground with inhomogeneous texture on the moving object.

研究动机与目标

• 为解决全景（鱼眼）图像序列中光流估计的挑战，该方法针对标准CNN方法在几何失真下的表现进行优化。
• 研究CNN架构在鱼眼相机等距投影模型引起的极端运动变化下的性能表现。
• 评估物体纹理对非刚性运动前景物体光流估计精度的影响。
• 构建一个包含真实运动场的合成基准数据集，用于评估全景场景中的光流估计性能。
• 比较预训练的FlowNet 2.0变体在处理鱼眼图像中大位移和噪声区域方面的能力。

提出的方法

• 通过将FlowNet 2.0架构应用于具有等距投影的鱼眼图像立体对，将其适配于全景图像数据。
• 采用鱼眼相机模型，其等距投影满足径向距离ρ(θ) = θ，用于将三维场景点映射到二维图像坐标。
• 通过模拟带有静态背景的三维立方体，利用几何变换计算像素位移，生成合成真实光流。
• 应用标准光流误差度量指标：平均端点误差（AEE），以及针对位移大于3像素的运动的异常值比率（Fl-bg、Fl-fg、Fl-all）。
• 在具有不同运动模式和纹理的合成序列上，对多种FlowNet 2.0变体（FN2、FN2-SD、FN2-CSS-ft-sd）进行训练与评估。
• 通过彩色光流可视化与定量对比评估性能，尤其关注大位移和低纹理区域的表现。

实验结果

研究问题

• RQ1 标准FlowNet 2.0架构在应用于具有高几何失真的全景图像时表现如何？
• RQ2 在鱼眼投影下，物体纹理对运动前景区域光流估计精度有何影响？
• RQ3 不同FlowNet 2.0变体（如FN2-SD、FN2-CSS-ft-sd）在处理鱼眼运动引起的大幅位移时表现如何比较？
• RQ4 能否利用基于几何体（立方体）的合成真实值作为评估全景场景光流估计的可靠基准？
• RQ5 鱼眼数据光流估计中的主要误差模式（如模糊、噪声）是什么？这些误差如何随运动类型和纹理变化？

主要发现

• FlowNet2-SD变体在前景异常值率方面表现最佳，达到4.75%（Fl-fg），显著优于标准FlowNet2的22.85%（在带纹理立方体上）。
• 与无纹理表面相比，为运动立方体添加纹理使前景光流误差降低了约10个百分点。
• FN2-CSS-ft-sd架构中观察到噪声模糊效应，尤其在鱼眼图像右下区域，且在大位移条件下更为明显。
• 平均端点误差随运动速度降低而减小，可能归因于等距投影模型下前景分布更优。
• 所有序列中背景运动误差（Fl-bg）均接近零，证实了合成设置中背景的静态特性。
• 由螺旋运动引起的大位移导致最高误差率，尤其在FN2-SD架构中表现明显，表明其在处理极端运动时存在局限性。