[论文解读] A Fusion Approach for Multi-Frame Optical Flow Estimation

Zhile Ren, Orazio Gallo+4 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Vision and Imaging参考文献 49被引用 5

一句话总结

本文提出了一种用于多帧光流估计的新型融合框架，通过将先前帧的光流预测结果反向映射到当前帧，并利用可学习的融合网络将它们与当前帧的估计结果相结合。该方法通过有效利用长期时间上下文，在 MPI Sintel 和 KITTI 2015 基准测试中实现了最先进性能，优于两帧基线方法和基于 GRU 的多帧方法。

ABSTRACT

To date, top-performing optical flow estimation methods only take pairs of consecutive frames into account. While elegant and appealing, the idea of using more than two frames has not yet produced state-of-the-art results. We present a simple, yet effective fusion approach for multi-frame optical flow that benefits from longer-term temporal cues. Our method first warps the optical flow from previous frames to the current, thereby yielding multiple plausible estimates. It then fuses the complementary information carried by these estimates into a new optical flow field. At the time of writing, our method ranks first among published results in the MPI Sintel and KITTI 2015 benchmarks. Our models will be available on https://github.com/NVlabs/PWC-Net.

研究动机与目标

• 解决当前光流方法仅依赖两帧连续图像的局限性，尽管更长的时间序列能提供更丰富的运动上下文。
• 改善遮挡区域和边界外像素等挑战性区域的光流估计性能，这些区域往往是两帧方法失效的地方。
• 开发一种灵活且可端到端训练的框架，可集成任意两帧光流模型作为输入。
• 证明融合多个映射后的光流估计结果，其性能优于仅选择单一最佳估计或使用循环网络的方法。

提出的方法

• 使用反向映射将先前帧的光流预测结果映射到当前帧，以实现空间对齐。
• 将映射后的过去光流与当前帧的光流估计输入到专用的融合网络中，以学习互补信息的组合方式。
• 采用深层神经网络进行融合，其感受野较大，能够实现上下文感知的光流候选聚合。
• 与底层两帧模型联合端到端训练融合网络，实现光流估计与融合过程的联合优化。
• 利用现代两帧模型（如 PWC-Net）的可微性，使反向传播能够贯穿整个流水线。
• 在合成数据集（virtual KITTI、Monkaa）预训练后，对公开基准测试集（KITTI 2015、Sintel）进行微调。

Figure 1: Given a scene with challenging motions, even state-of-the-art two-frame optical flow methods fail to predict the correct motion. Our flow fusion approach offers an effective method to incorporate temporal information and improve the predicted flow.

实验结果

研究问题

• RQ1 与两帧方法相比，融合多个过去帧的光流估计是否能提升在具有挑战性的光流基准测试中的性能？
• RQ2 可学习的融合机制是否优于对多个光流候选进行简单选择或平均？
• RQ3 即使在运动突变或遮挡区域，融合网络是否仍能有效利用长期时间上下文？
• RQ4 所提出的融合框架是否与最先进两帧光流模型兼容并有效？
• RQ5 该融合方法是否在不同数据集和运动模式（包括运动边界和遮挡）下具有泛化能力？

主要发现

• 在 MPI Sintel 基准测试中，PWC-Fusion 在所有已发表方法中排名最高，优于所有两帧基线方法。
• 在 KITTI 2015 基准测试中，PWC-Fusion 超过了所有两帧光流方法，包括当时最先进方法 PWC-Net。
• 在红色区域（融合光流与两个输入均不一致的区域），平均端到端误差（EPE）降低了 3.93，表明其精度超越了最佳输入。
• 在遮挡区域和边界外像素区域，融合光流的 EPE 显著低于当前帧光流，证明了历史光流信息的价值。
• 在模糊区域，融合网络在 37.65% 的像素上优于当前帧光流和映射后的过去帧光流，证明其具备生成更优估计的能力。
• 视觉结果表明，在运动边界处有稳定提升，融合方法生成的光流场比仅使用 PWC-Net 更准确、更连贯。

Figure 2: Architecture of the proposed fusion approach for three-frame optical flow estimation. The dashed line indicates that the PWC-Nets share the same weights. PWC-Net can be replaced with other two-frame flow methods like FlowNetS.