[论文解读] CRAFT: Cross-Attentional Flow Transformer for Robust Optical Flow

Xiuchao Sui, Shaohua Li+6 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Vision and Imaging被引用 8

一句话总结

CRAFT 提出了一种新颖的光流网络，通过引入语义平滑 Transformer 和跨帧注意力机制，提升相关体积计算的性能，从而减少噪声并增强在大位移和运动模糊情况下的鲁棒性。该方法在 Sintel（Final）和 KITTI（前景）基准上实现了最先进性能，优于 RAFT 和 GMA，在模拟大位移的对抗性图像位移攻击下表现更优。

ABSTRACT

Optical flow estimation aims to find the 2D motion field by identifying corresponding pixels between two images. Despite the tremendous progress of deep learning-based optical flow methods, it remains a challenge to accurately estimate large displacements with motion blur. This is mainly because the correlation volume, the basis of pixel matching, is computed as the dot product of the convolutional features of the two images. The locality of convolutional features makes the computed correlations susceptible to various noises. On large displacements with motion blur, noisy correlations could cause severe errors in the estimated flow. To overcome this challenge, we propose a new architecture "CRoss-Attentional Flow Transformer" (CRAFT), aiming to revitalize the correlation volume computation. In CRAFT, a Semantic Smoothing Transformer layer transforms the features of one frame, making them more global and semantically stable. In addition, the dot-product correlations are replaced with transformer Cross-Frame Attention. This layer filters out feature noises through the Query and Key projections, and computes more accurate correlations. On Sintel (Final) and KITTI (foreground) benchmarks, CRAFT has achieved new state-of-the-art performance. Moreover, to test the robustness of different models on large motions, we designed an image shifting attack that shifts input images to generate large artificial motions. Under this attack, CRAFT performs much more robustly than two representative methods, RAFT and GMA. The code of CRAFT is is available at https://github.com/askerlee/craft.

研究动机与目标

• 为解决在大位移和运动模糊条件下，相关体积因噪声和虚假匹配而受损，导致光流估计不准确的问题。
• 通过增强特征语义并过滤匹配前的噪声，提升相关体积计算的鲁棒性。
• 克服卷积特征匹配中点积相关性方法的局限性，后者对局部纹理损失和模糊敏感。
• 验证基于 Transformer 的特征平滑与交叉注意力机制可显著减少光流估计中的虚假相关性。

提出的方法

• 引入语义平滑 Transformer（SST）层，在单帧内应用自注意力机制，对特征进行全局平滑与语义稳定，再进行相关计算。
• 用基于查询与键投影的跨帧注意力机制替代传统点积相关性，以过滤噪声特征并计算更精确的帧间相似性。
• 仅对一帧应用 SST，以避免引入额外噪声，该结论经消融实验验证。
• 采用与 RAFT 类似的多尺度光流细化头，但结合了所提组件增强的相关体积。
• 设计一种新型图像位移攻击，以模拟大人工位移，评估在极端位移与模糊条件下的鲁棒性。
• 利用视觉 Transformer 的特性，通过关注图像中语义相关且上下文相关的像素，实现特征去噪。

实验结果

研究问题

• RQ1 基于 Transformer 的特征平滑机制能否减少光流相关体积中的噪声，并提升在模糊或纹理化图像上的匹配准确性？
• RQ2 用跨帧注意力替代点积相关性，是否能在运动模糊与大位移条件下实现更鲁棒、更准确的光流估计？
• RQ3 所提出的 CRAFT 架构在应对人工大位移与图像退化时，与 RAFT 和 GMA 等最先进方法相比，其鲁棒性如何？
• RQ4 对两帧均应用语义平滑 Transformer 的影响是什么？为何性能会下降？
• RQ5 所提组件在相关体积中减少虚假相关性的程度如何？可视化热力图可提供佐证。

主要发现

• CRAFT 在 Sintel（Final）基准上达到新的最先进性能，平均端点误差（AEPE）显著优于 RAFT 和 GMA。
• 在 KITTI（前景）基准上，CRAFT 的表现优于所有评估方法，展现出对真实世界场景的强大泛化能力。
• 在模拟大位移的图像位移攻击下（Δu ∈ [100,300]），CRAFT 保持低 AEPE，而 RAFT 和 GMA 在 Δu > 160 时性能严重下降。
• CRAFT 计算的相关体积中虚假匹配显著少于 RAFT 和 GMA，Sintel（Final）运动模糊场景下的可视化结果已证实此结论。
• 对两帧均应用语义平滑 Transformer（Double SST）会增加虚假相关性并降低性能，表明单帧平滑为最优方案。
• CRAFT 在 Slow Flow 数据集（含运动模糊）上的 AEPE 仅比在 Sintel 上高 35 像素，而 RAFT 和 GMA 的 AEPE 增幅达 80–100 像素，证明其对模糊具有更强鲁棒性。