[论文解读] FlowFormer++: Masked Cost Volume Autoencoding for Pretraining Optical Flow Estimation

Xiaoyu Shi, Zhaoyang Huang+7 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本论文提出 FlowFormer++，一种基于掩码代价体积自编码（MCVA）的自监督预训练方法，用于光流估计。通过引入块共享掩码和长程重建预训练任务，MCVA增强了代价体积编码器捕捉全局上下文的能力，在 Sintel Clean 上实现 1.07 的 AEPE，于 KITTI-2015 上实现 4.52 的 F1-all，分别相较 FlowFormer 实现 7.76% 和 7.18% 的误差降低，达到当前最优性能。

ABSTRACT

FlowFormer introduces a transformer architecture into optical flow estimation and achieves state-of-the-art performance. The core component of FlowFormer is the transformer-based cost-volume encoder. Inspired by the recent success of masked autoencoding (MAE) pretraining in unleashing transformers' capacity of encoding visual representation, we propose Masked Cost Volume Autoencoding (MCVA) to enhance FlowFormer by pretraining the cost-volume encoder with a novel MAE scheme. Firstly, we introduce a block-sharing masking strategy to prevent masked information leakage, as the cost maps of neighboring source pixels are highly correlated. Secondly, we propose a novel pre-text reconstruction task, which encourages the cost-volume encoder to aggregate long-range information and ensures pretraining-finetuning consistency. We also show how to modify the FlowFormer architecture to accommodate masks during pretraining. Pretrained with MCVA, FlowFormer++ ranks 1st among published methods on both Sintel and KITTI-2015 benchmarks. Specifically, FlowFormer++ achieves 1.07 and 1.94 average end-point error (AEPE) on the clean and final pass of Sintel benchmark, leading to 7.76\% and 7.18\% error reductions from FlowFormer. FlowFormer++ obtains 4.52 F1-all on the KITTI-2015 test set, improving FlowFormer by 0.16.

研究动机与目标

• 为解决在代价体积上应用掩码自编码时随机掩码带来的局限性，因相邻源像素的代价图具有高度相关性，导致信息泄露。
• 通过设计一种模拟实际解码过程的重建任务，减少预训练与微调之间的差异。
• 通过任务特定的掩码与重建策略，提升代价体积编码器聚合长程信息的能力。
• 实现代价体积编码器的有效自监督预训练，无需依赖监督信号或无监督损失。
• 证明在预训练期间冻结图像编码器对防止训练崩溃、维持稳定重建目标至关重要。

提出的方法

• 提出一种块共享掩码策略，将相邻的源像素分组为块，并对每个块内的所有代价图应用相同的掩码模式，从而减少因空间相关性导致的代价值信息泄露。
• 提出一种新颖的预训练重建任务：从较小的 $9\times9$ 裁剪块重建更大的 $15\times15$ 代价块，与微调阶段使用的动态查询机制保持一致。
• 修改 FlowFormer 架构，使其在预训练期间能够处理掩码输入，通过将掩码代价体积整合进基于 Transformer 的代价体积编码器中。
• 在预训练期间冻结图像编码器，以稳定重建目标（原始代价值），防止模型发散。
• 在预训练期间也冻结上下文编码器，以提升整体性能并避免干扰代价体积学习目标。
• 设计重建任务，促使编码器利用未掩码的远距离代价特征来推理被掩码区域，从而促进长程特征抽象。

实验结果

研究问题

• RQ1 尽管代价体积具有高度空间相关性，掩码自编码是否仍可有效用于预训练光流估计中的代价体积编码器？
• RQ2 与随机掩码相比，块共享掩码策略是否能有效防止信息泄露并提升长程特征学习能力？
• RQ3 一种模拟实际解码过程的重建任务是否能减少预训练与微调之间的差异，并提升下游性能？
• RQ4 在预训练期间冻结图像编码器是否对维持训练稳定性和性能至关重要？
• RQ5 与使用光度和光滑性损失的无监督预训练相比，所提出的 MCVA 预训练方案在最终光流估计精度方面表现如何？

主要发现

• FlowFormer++ 在 Sintel Clean 基准上实现 1.07 的平均端点误差（AEPE），相较 FlowFormer 相对误差降低 7.76%。
• 在 Sintel Final 通过时，FlowFormer++ 实现 1.94 AEPE，相较 FlowFormer 相对提升 7.18%。
• 在 KITTI-2015 测试集上，FlowFormer++ 达到 4.52 的 F1-all，相较 FlowFormer 提升 0.16。
• 块共享掩码策略性能优于随机掩码，Sintel Clean 上 AEPE 为 0.90，而随机掩码为 0.93。
• 50% 的掩码比例取得最佳整体性能，平衡了重建难度与特征抽象能力。
• 在预训练期间同时冻结图像编码器和上下文编码器可实现稳定训练并提升性能，其中图像编码器对防止发散至关重要。