[论文解读] FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation

Lingtong Kong, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Vision and Imaging参考文献 31被引用 5

一句话总结

FastFlowNet 提出了一种轻量级、实时的光流网络，采用自粗到精的框架，包含三项关键创新：用于高效特征提取的头部增强池化金字塔（HEPP），用于紧凑代价体积构建的中心密集空洞相关（CDDC）层，以及用于快速光流估计的通道混洗块解码器（SBD）。该网络仅使用 1.37M 参数和 12.2 GFLOPs，实现了最先进（SOTA）的精度表现，在 GTX 1080Ti 上达到 90 FPS，在嵌入式 Jetson TX2 上达到 5.7 FPS，计算量仅为同类模型的 1/10。

ABSTRACT

Dense optical flow estimation plays a key role in many robotic vision tasks. In the past few years, with the advent of deep learning, we have witnessed great progress in optical flow estimation. However, current networks often consist of a large number of parameters and require heavy computation costs, largely hindering its application on low power-consumption devices such as mobile phones. In this paper, we tackle this challenge and design a lightweight model for fast and accurate optical flow prediction. Our proposed FastFlowNet follows the widely-used coarse-to-fine paradigm with following innovations. First, a new head enhanced pooling pyramid (HEPP) feature extractor is employed to intensify high-resolution pyramid features while reducing parameters. Second, we introduce a new center dense dilated correlation (CDDC) layer for constructing compact cost volume that can keep large search radius with reduced computation burden. Third, an efficient shuffle block decoder (SBD) is implanted into each pyramid level to accelerate flow estimation with marginal drops in accuracy. Experiments on both synthetic Sintel data and real-world KITTI datasets demonstrate the effectiveness of the proposed approach, which needs only 1/10 computation of comparable networks to achieve on par accuracy. In particular, FastFlowNet only contains 1.37M parameters; and can execute at 90 FPS (with a single GTX 1080Ti) or 5.7 FPS (embedded Jetson TX2 GPU) on a pair of Sintel images of resolution 1024x436.

研究动机与目标

• 为解决现有基于深度学习的光流网络计算成本过高和模型尺寸过大的问题，这些缺点阻碍了其在移动和嵌入式设备上的部署。
• 实现在移动电话和无人机等低功耗平台上的实时、高精度光流估计。
• 对整个光流处理流程——特征提取、代价体积构建和光流解码——进行重新设计，以实现高效性而不牺牲精度。
• 在保持或提升标准基准测试性能的同时，显著降低 FLOPs 和模型尺寸。

提出的方法

• 提出一种头部增强池化金字塔（HEPP），将高层的卷积层与低层的无参数池化相结合，以减少参数量和计算量，同时保留高分辨率特征。
• 提出一种中心密集空洞相关（CDDC）层，通过以空洞且中心聚焦的方式采样特征，构建具有大有效感受野的紧凑代价体积，从而在保持大搜索半径的同时降低计算量。
• 采用带有分组深度可分离卷积的通道混洗块解码器（SBD），以压缩光流解码器，显著减少参数量和 FLOPs，同时保持精度损失最小。
• 采用自粗到精的残差学习框架，其中每个金字塔层级估计残差光流，从而在降低复杂度的同时实现对大位移的精确估计。
• 在 60 万次迭代中应用具有自适应加权（Sintel 的 q = 0.4，KITTI 的 q = 0.2）的鲁棒损失函数，以及学习率调度策略，以在合成和真实世界数据集上进行微调。
• 在 Sintel（合成）和 KITTI（真实世界）基准上评估模型，测量在桌面和嵌入式 GPU 上的精度、FLOPs 和推理时间。

实验结果

研究问题

• RQ1 与现有方法相比，轻量级光流网络是否能在显著降低 FLOPs 和模型尺寸的同时，实现具有竞争力的精度？
• RQ2 所提出的 CDDC 层在保持大有效感受野的同时，是否能有效最小化代价体积构建中的计算成本？
• RQ3 与标准特征金字塔相比，HEPP 特征提取器在减少参数量的同时，是否能显著提升特征表示能力？
• RQ4 SBD 模块是否能在多个金字塔层级上实现显著加速，同时保持精度损失最小？
• RQ5 FastFlowNet 完整架构是否在嵌入式平台上保持高效的同时，对真实世界驾驶场景（KITTI）具有强大的泛化能力？

主要发现

• 在 Sintel Final 测试集上，FastFlowNet 达到 90.0% 的精度，优于 FlowNetC 和 SPyNet，且仅需 13.4 倍的计算量（12.2 GFLOPs），性能达到 LiteFlowNet 的 90%。
• 在 KITTI 2015 基准测试中，FastFlowNet 的性能与 PWC-Net 和 LiteFlowNetX 相当，但乘加运算成本降低 7.5 倍。
• 该模型在 GTX 1080Ti 上运行速度为 90 FPS，在嵌入式 Jetson TX2 GPU 上处理 1024×436 分辨率的 Sintel 图像时达到 5.7 FPS，证明其在边缘设备上具备实时推理能力。
• FastFlowNet 仅使用 1.37 百万个参数，比 FlowNet2 小 120 倍，且显著优于其他最先进模型的效率表现。
• 消融实验表明，HEPP、CDDC 和 SBD 每个组件均对效率-精度权衡有贡献，其中 SBD 在分组数 g > 3 后收益递减。
• 在 KITTI 2015 验证集上，CDDC 层在大位移场景中性能优于标准相关层，尽管在 Sintel 上未见提升。