[论文解读] Global Matching with Overlapping Attention for Optical Flow Estimation

Shiyu Zhao, L. Zhao+3 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Vision and Imaging被引用 7

一句话总结

该论文提出GMFlowNet，一种基于学习的光流估计匹配-优化框架，通过在4D代价体积上应用argmax引入全局匹配步骤，显式处理大位移问题。通过引入基于补丁的重叠注意力（POLA）模块捕捉大范围上下文特征，显著提升匹配精度，在Sintel和KITTI基准上实现最先进性能，且计算开销极低。

ABSTRACT

Optical flow estimation is a fundamental task in computer vision. Recent direct-regression methods using deep neural networks achieve remarkable performance improvement. However, they do not explicitly capture long-term motion correspondences and thus cannot handle large motions effectively. In this paper, inspired by the traditional matching-optimization methods where matching is introduced to handle large displacements before energy-based optimizations, we introduce a simple but effective global matching step before the direct regression and develop a learning-based matching-optimization framework, namely GMFlowNet. In GMFlowNet, global matching is efficiently calculated by applying argmax on 4D cost volumes. Additionally, to improve the matching quality, we propose patch-based overlapping attention to extract large context features. Extensive experiments demonstrate that GMFlowNet outperforms RAFT, the most popular optimization-only method, by a large margin and achieves state-of-the-art performance on standard benchmarks. Thanks to the matching and overlapping attention, GMFlowNet obtains major improvements on the predictions for textureless regions and large motions. Our code is made publicly available at https://github.com/xiaofeng94/GMFlowNet

研究动机与目标

• 为解决直接回归型光流方法因缺乏显式长期对应建模而难以处理大位移的问题。
• 通过利用大范围上下文特征，提升在无纹理和模糊区域的匹配精度。
• 将全局匹配步骤整合到端到端学习型优化框架中，受传统匹配-优化流水线的启发。
• 设计一种高效且有效的架构，在性能上超越如RAFT等最先进方法的同时，保持实际推理速度。

提出的方法

• 通过在大范围上下文特征构建的4D代价体积上应用argmax，引入全局匹配步骤，实现对长程运动对应关系的显式建模。
• 提出一种基于补丁的重叠注意力（POLA）模块，通过关注补丁及其邻近区域提取大尺度上下文特征，降低匹配中的模糊性。
• 采用三阶段框架：(1) 使用3层卷积和POLA模块进行大范围上下文特征提取；(2) 通过代价体积上的argmax实现全局匹配，并进行互匹配优化；(3) 使用RAFT的可学习更新模块进行迭代优化。
• 使用4D代价体积表示帧间像素级相似性，特征通过CNN提取，并经由POLA增强以实现更好的上下文建模。
• 在视觉Transformer中用POLA替代标准注意力机制，在保持效率的同时提升光流任务性能。
• 采用轻量级全局匹配模块，相比RAFT仅增加0.52%的推理时间开销，确保实际部署的高效性。

实验结果

研究问题

• RQ1 在直接回归型光流网络中引入全局匹配步骤，是否能显著提升在大位移和无纹理区域的性能？
• RQ2 与标准自注意力或CNN相比，基于补丁的重叠注意力在降低光流匹配中的局部模糊性方面有多有效？
• RQ3 基于学习的匹配-优化框架是否优于纯端到端回归或仅优化型基线方法（如RAFT）？
• RQ4 添加全局匹配与重叠注意力的计算成本如何？是否足够高效以支持实际部署？
• RQ5 特征提取器类型和注意力模块数量等架构选择如何影响模型最终的性能与效率？

主要发现

• GMFlowNet在Sintel和KITTI基准上达到最先进性能，Sintel Clean的最终误差为1.14，KITTI为4.24，显著优于RAFT。
• 与RAFT相比，全局匹配模块在Sintel Final上降低12.6%的误差，在KITTI上降低6.0%，证明其在处理大位移方面的有效性。
• POLA模块在匹配精度上优于ResNet、Swin Transformer和ViT，尤其在无纹理和重复区域表现更优，归因于其大感受野和局部上下文聚合能力。
• 在RAFT中加入全局匹配（RAFT+GM）后，Sintel Final误差降低12.6%，KITTI降低6.0%，证明其对性能的直接贡献。
• 尽管相比+Swin增加了400万参数和0.078秒推理时间，GMFlowNet在Sintel Clean上性能提升13.5%，KITTI上提升24.9%，表明开销是合理的。
• 消融实验表明，初始特征提取使用3层卷积和6个POLA模块可在性能与效率之间取得最佳平衡。