[论文解读] Decoupled Spatial-Temporal Transformer for Video Inpainting

Rui Liu, Hanming Deng+7 more|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 47

一句话总结

介绍了一种带分层编码器的解耦时空Transformer (DSTT)，通过分别建模时间对象移动与背景纹理传播，能高效进行视频修复并达到最先进结果，同时提高效率。

ABSTRACT

Video inpainting aims to fill the given spatiotemporal holes with realistic appearance but is still a challenging task even with prosperous deep learning approaches. Recent works introduce the promising Transformer architecture into deep video inpainting and achieve better performance. However, it still suffers from synthesizing blurry texture as well as huge computational cost. Towards this end, we propose a novel Decoupled Spatial-Temporal Transformer (DSTT) for improving video inpainting with exceptional efficiency. Our proposed DSTT disentangles the task of learning spatial-temporal attention into 2 sub-tasks: one is for attending temporal object movements on different frames at same spatial locations, which is achieved by temporally-decoupled Transformer block, and the other is for attending similar background textures on same frame of all spatial positions, which is achieved by spatially-decoupled Transformer block. The interweaving stack of such two blocks makes our proposed model attend background textures and moving objects more precisely, and thus the attended plausible and temporally-coherent appearance can be propagated to fill the holes. In addition, a hierarchical encoder is adopted before the stack of Transformer blocks, for learning robust and hierarchical features that maintain multi-level local spatial structure, resulting in the more representative token vectors. Seamless combination of these two novel designs forms a better spatial-temporal attention scheme and our proposed model achieves better performance than state-of-the-art video inpainting approaches with significant boosted efficiency.

研究动机与目标

• 推动鲁棒且高效的视频修复，保持时间一致性和纹理质量。
• 开发一个基于Transformer的框架，实现空间与时间注意力的解耦以降低计算量。
• 引入层次编码器，在注意力传播前保留多级局部空间结构。
• 在标准视频数据集上展示最先进的性能，同时提升效率，覆盖视频完成与对象移除任务。

提出的方法

• 提出一个层次编码器，逐帧混合多级特征以产生鲁棒的标记表示。
• 使用两段Transformer块的交错堆叠：在相同空间区域上跨时间进行时间上解耦的注意力，以及在每帧内跨所有标记的空间上解耦的注意力。
• 将特征图分割为 s×s 区域，以便使时间和空间注意力更易实现且更高效。
• 以交替的 TDB-SDB 模式堆叠块，以实现全面的时空传播。
• 在自监督设置中端到端训练，通过屏蔽视频并利用重建损失与对抗性损失（L_hole、L_valid、L_adv）进行重建。
• 组成 G = G_HE ∘ G_DSTT ∘ G_Dec，其中 G_HE 为层次编码器，G_DSTT 为解耦Transformer堆栈，G_Dec 为CNN解码器。

实验结果

研究问题

• RQ1 在保持或提升修复质量的前提下，解耦空间和时间注意力是否能降低计算成本？
• RQ2 层次编码器是否能提升基于Transformer的视频修复的表示质量？
• RQ3 交错的时间解耦与空间解耦块的模式如何影响重建质量与效率？
• RQ4 与现有方法在标准视频数据集上的PSNR/SSIM/VFID与速度提升有何量化收益？
• RQ5 该方法在视频完成与对象移除任务上是否都具备鲁棒性？

主要发现

• DSTT在YouTube-VOS和DAVIS上的视频完成任务上达到最先进的PSNR，且在SSIM和VFID方面具有竞争力。
• 所提出的方法在报告的方法中具有最高的FPS (37.3)，并且FLOPs 相对较低（128B）。
• 消融实验显示层次编码器将PSNR提升近0.4点，同时降低VFID，证实多级特征混合的好处。
• 将特征图分割为区域（s=2）比单一全局注意力（s=1）或过于细分区域（s>4）在准确性与效率之间获得更好权衡。
• 交错的时间解耦与空间解耦块总体上优于单块变体，凸显了交替时空传播的优势。