[论文解读] Models Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation

Deqing Sun, Xiaodong Yang+2 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Vision and Imaging参考文献 31被引用 25

一句话总结

本文提出PWC-Net，一种紧凑且高效的卷积神经网络（CNN），用于光流估计。该方法将经典的计算机视觉原理——金字塔特征提取、特征扭曲和多级代价体积——整合进深度学习框架。PWC-Net在Sintel final基准上实现11%更高的准确率，模型大小仅为FlowNet2的1/17，推理速度提升2倍，且通过改进的训练协议获得进一步性能提升。

ABSTRACT

We investigate two crucial and closely related aspects of CNNs for optical flow estimation: models and training. First, we design a compact but effective CNN model, called PWC-Net, according to simple and well-established principles: pyramidal processing, warping, and cost volume processing. PWC-Net is 17 times smaller in size, 2 times faster in inference, and 11\% more accurate on Sintel final than the recent FlowNet2 model. It is the winning entry in the optical flow competition of the robust vision challenge. Next, we experimentally analyze the sources of our performance gains. In particular, we use the same training procedure of PWC-Net to retrain FlowNetC, a sub-network of FlowNet2. The retrained FlowNetC is 56\% more accurate on Sintel final than the previously trained one and even 5\% more accurate than the FlowNet2 model. We further improve the training procedure and increase the accuracy of PWC-Net on Sintel by 10\% and on KITTI 2012 and 2015 by 20\%. Our newly trained model parameters and training protocols will be available on https://github.com/NVlabs/PWC-Net

研究动机与目标

• 通过将成熟的光流原理整合进深度学习框架，设计一种紧凑但准确的CNN架构，用于光流估计。
• 探究将领域知识与深度学习结合是否能同时减小模型规模并提升性能，从而突破传统准确率-模型大小之间的权衡。
• 证明训练过程与模型架构同等重要，是实现光流估计最先进性能的关键因素。
• 提供重新训练的、公开可用的模型与训练协议，以支持公平基准测试与未来研究的可复现性。

提出的方法

• 设计六层特征金字塔，以捕捉多尺度运动信息，从而实现对大位移的鲁棒估计。
• 利用预测的光流对特征进行扭曲，将第二张图像的特征对齐至第一张图像，降低运动幅度，简化光流估计。
• 在每个金字塔层级上，使用有限的搜索范围构建部分代价体积，形成对光流搜索空间的判别性表征。
• 通过堆叠多个残差块，在每个金字塔层级上逐步优化光流预测，并利用粗层级的特征引导细层级的优化。
• 采用多阶段训练策略，结合课程学习、数据增强（如随机裁剪、水平翻转）以及学习率调度，以提升收敛性与泛化能力。
• 使用多尺度损失函数端到端训练模型，融合所有金字塔层级的监督信号。

实验结果

研究问题

• RQ1 将经典光流原理——金字塔处理、特征扭曲与代价体积——整合进CNN架构，是否能显著提升性能，同时减小模型规模？
• RQ2 训练协议（如数据增强与学习率调度）在性能提升中的贡献程度，是否超过架构设计本身？
• RQ3 当两者均采用最优训练流程时，更小、更高效的模型是否能超越更大、更复杂的模型（如FlowNet2）？
• RQ4 是否可能在模型更小、更快的前提下，实现与现有端到端CNN相当甚至更优的最先进准确率？
• RQ5 在标准基准上，训练优化带来的性能提升与架构创新相比，孰优孰劣？

主要发现

• 尽管模型大小仅为FlowNet2的1/17，推理速度提升2倍，PWC-Net在Sintel final基准上的准确率仍高出11%。
• 使用与PWC-Net相同的训练协议重新训练FlowNetC后，其在Sintel final上的准确率提升56%，并超过FlowNet2 5%。
• 进一步优化训练流程后，PWC-Net在Sintel上的准确率提升10%，在KITTI 2012上提升20%，在KITTI 2015上也提升20%。
• 该模型在Sintel分辨率图像（1024×436）上可达到约35 FPS，证明其在标准硬件上具备实时性能。
• PWC-Net是Robust Vision Challenge中光流类别的优胜者，使用同一组参数在多种不同基准上均表现出强鲁棒性。
• 结果证实，模型架构与训练过程均至关重要——仅优化训练过程即可带来与架构创新相当的性能增益。