[论文解读] FuseFormer: Fusing Fine-Grained Information in Transformers for Video Inpainting

Rui Liu, Hanming Deng+7 more|arXiv (Cornell University)|Sep 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 7

一句话总结

FuseFormer 提出了一种用于视频修复的新型 Transformer 架构，通过引入软分割（Soft Split）和软组合（Soft Composition）操作，增强了细粒度特征融合，实现了亚块级别的交互，提升了边缘锐度和时序一致性。它通过将这些操作集成到前馈网络中的融合前馈网络（F3N）中，以极低的计算开销实现了最先进（SOTA）的性能表现。

ABSTRACT

Transformer, as a strong and flexible architecture for modelling long-range relations, has been widely explored in vision tasks. However, when used in video inpainting that requires fine-grained representation, existed method still suffers from yielding blurry edges in detail due to the hard patch splitting. Here we aim to tackle this problem by proposing FuseFormer, a Transformer model designed for video inpainting via fine-grained feature fusion based on novel Soft Split and Soft Composition operations. The soft split divides feature map into many patches with given overlapping interval. On the contrary, the soft composition operates by stitching different patches into a whole feature map where pixels in overlapping regions are summed up. These two modules are first used in tokenization before Transformer layers and de-tokenization after Transformer layers, for effective mapping between tokens and features. Therefore, sub-patch level information interaction is enabled for more effective feature propagation between neighboring patches, resulting in synthesizing vivid content for hole regions in videos. Moreover, in FuseFormer, we elaborately insert the soft composition and soft split into the feed-forward network, enabling the 1D linear layers to have the capability of modelling 2D structure. And, the sub-patch level feature fusion ability is further enhanced. In both quantitative and qualitative evaluations, our proposed FuseFormer surpasses state-of-the-art methods. We also conduct detailed analysis to examine its superiority.

研究动机与目标

• 解决基于块的 Transformer 在视频修复中的局限性，即硬性块分割导致边缘模糊和亚块特征交互不足的问题。
• 通过引入重叠、软性操作，实现在标记化和重建过程中保留空间细节的亚块级别特征融合。
• 在不显著增加模型参数量或推理成本的前提下，提升 Transformer 在视频修复任务中的特征表示能力。
• 通过促进相邻块之间更丰富的特征传播，增强生成视频帧在空间和时序上的一致性。
• 构建一种轻量化但强大的架构，在视频修复与物体移除基准测试中超越现有方法。

提出的方法

• 提出软分割（SS），通过核大小大于步长的展开操作（unfold），从特征图中生成重叠的二维块，实现亚块级别的表征。
• 设计软组合（SC），通过将标记重新塑形为二维块并累加相邻块的重叠像素特征，实现对软分割的逆向操作。
• 将 SS 和 SC 集成到 Transformer 的标记化与去标记化阶段，实现标记与细粒度特征之间的有效映射。
• 提出融合前馈网络（F3N），通过将标准前馈块中的 1D MLP 重构为：将标记重塑为 2D，应用软组合，再重新编码，从而增强对 2D 结构的建模能力。
• 应用一种新型归一化技术（公式 8），以稳定训练过程并进一步提升性能。
• 构建强基线模型 ViB-T，采用原始 Transformer 搭配多帧块嵌入以及轻量级卷积编码器/解码器，随后通过引入软操作构建 ViB-S，最终形成 FuseFormer。

实验结果

研究问题

• RQ1 重叠块操作（软分割与软组合）是否能提升视频修复中 Transformer 的细粒度特征表征能力？
• RQ2 通过软操作实现的亚块级别特征融合，对生成视频帧的边缘锐度和视觉质量有何影响？
• RQ3 F3N 模块在不增加模型参数量的前提下，能在多大程度上增强前馈网络中的特征学习能力？
• RQ4 将软操作集成到 Transformer 架构中，是否能相比硬性块基方法在视频修复基准上取得更优性能？
• RQ5 所提方法是否能在保持低计算成本和推理时间的同时实现最先进性能？

主要发现

• FuseFormer 在 YouTubeVOS 上超越了最先进方法，PSNR 提升 3.3%，SSIM 提升 0.7%，表现优于最佳基线模型。
• FuseFormer 将 VFID 和形变误差分别降低 7.4% 和 7.8%，表明其生成视频在真实感和时序一致性方面更优。
• 用户研究表明，在视频补全任务中，68% 的观众多数认为 FuseFormer 表现最佳；在物体移除任务中，该比例达 71%，证实其在感知质量上的显著优势。
• 仅引入软操作的 ViB-S 模型已超越 STTN，表明软操作本身即可在极低额外成本下显著提升性能。
• 当用 F3N 模块替换 Transformer 块中的标准 MLP 时，性能显著提升，证明其在增强亚块特征融合方面的有效性。
• 定性结果表明，FuseFormer 生成的边缘更锐利，帧间内容更连贯，且通过深层网络逐步从粗粒度到细粒度特征进行优化。