[论文解读] PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume

Deqing Sun, Xiaodong Yang+2 more|arXiv (Cornell University)|Sep 7, 2017

Advanced Vision and Imaging参考文献 1被引用 141

一句话总结

PWC-Net 提供一个紧凑的端到端 CNN 用于光流，结合可学习特征金字塔、像素级变形（warping）和代价体积，使用小型模型实现最先进精度并实现实时速度。

ABSTRACT

We present a compact but effective CNN model for optical flow, called PWC-Net. PWC-Net has been designed according to simple and well-established principles: pyramidal processing, warping, and the use of a cost volume. Cast in a learnable feature pyramid, PWC-Net uses the cur- rent optical flow estimate to warp the CNN features of the second image. It then uses the warped features and features of the first image to construct a cost volume, which is processed by a CNN to estimate the optical flow. PWC-Net is 17 times smaller in size and easier to train than the recent FlowNet2 model. Moreover, it outperforms all published optical flow methods on the MPI Sintel final pass and KITTI 2015 benchmarks, running at about 35 fps on Sintel resolution (1024x436) images. Our models are available on https://github.com/NVlabs/PWC-Net.

研究动机与目标

• 激发并设计一个实时、准确的密集光流端到端 CNN。
• 探索将经典光流原理整合到 CNN 以提高效率与性能的方法。
• 开发一个在减小模型尺寸的同时保持准确性的轻量级架构。

提出的方法

• 用可学习的特征金字塔替换固定的图像金字塔，覆盖多个层级。
• 加入一个利用上采样流场对齐两帧特征的变形（warp）层。
• 在每个金字塔层构建部分代价体积，以在有限搜索范围内捕捉匹配代价。
• 在每个金字塔层使用多层光流估计器来预测流量，可选 DenseNet 连接。
• 添加带扩张卷积的上下文网络以细化预测的光流。
• 使用多尺度损失和鲁棒变体进行训练，以提高泛化能力。

实验结果

研究问题

• RQ1 是否能够通过利用金字塔处理、像素级变形和代价体积，使基于CNN的光流模型在显著更小的尺寸和更快的推断下达到最先进的精度？
• RQ2 将经典光流组件（变形、代价体积）整合到端到端可训练的架构中，是否在 Sintel 和 KITTI 上相比 FlowNet2 和 SpyNet 提升准确性？
• RQ3 架构选择（特征金字塔深度、DenseNet 连接、上下文网络和损失函数）对准确性和泛化有何影响？
• RQ4 与从零开始训练相比，PWC-Net 在对域特定数据（Sintel、KITTI）进行微调时的表现如何？

主要发现

• 在已发表的光流方法中，PWC-Net 在 MPI Sintel 最终通道和 KITTI 2015 基准测试上实现了最先进的精度。
• 该模型大约比 FlowNet2 小 17 倍，在 Sintel 分辨率 (1024×436) 下约以 35 fps 运行。
• 结合基于弯曲的特征对齐、部分代价体积和上下文网络可带来更好的光流估计和边界清晰度。
• DenseNet 连接和微调提供额外的性能提升，上下文网络和更大特征提取器有助于提升准确度。
• 在 KITTI 上，PWC-Net 在已发表的两帧方法中实现了最低的流异常值（Fl-all），并在前景区域表现出色。