[论文解读] AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation

Zhen Li, Zuo-Liang Zhu+4 more|arXiv (Cornell University)|Apr 19, 2023

Advanced Vision and Imaging被引用 4

一句话总结

AMT 提出了一种新颖的视频帧插值网络，采用全连接多领域变换以提升光流估计的保真度与多样性。通过利用双向相关体积以及从粗光流中提取的多个精细化光流场，AMT 在计算效率方面优于以往方法，于 Vimeo90K 数据集上相比 IFRNet-L 实现 +0.15 dB PSNR 提升，同时仅使用 75% 的 FLOPs 和 65% 的参数量。

ABSTRACT

We present All-Pairs Multi-Field Transforms (AMT), a new network architecture for video frame interpolation. It is based on two essential designs. First, we build bidirectional correlation volumes for all pairs of pixels, and use the predicted bilateral flows to retrieve correlations for updating both flows and the interpolated content feature. Second, we derive multiple groups of fine-grained flow fields from one pair of updated coarse flows for performing backward warping on the input frames separately. Combining these two designs enables us to generate promising task-oriented flows and reduce the difficulties in modeling large motions and handling occluded areas during frame interpolation. These qualities promote our model to achieve state-of-the-art performance on various benchmarks with high efficiency. Moreover, our convolution-based model competes favorably compared to Transformer-based models in terms of accuracy and efficiency. Our code is available at https://github.com/MCG-NKU/AMT.

研究动机与目标

• 为解决现有基于光流的视频帧插值方法在处理大位移和遮挡时的局限性。
• 通过引入新型相关性与精炼机制，提升任务导向光流的保真度与多样性。
• 在保持高效率的前提下实现 SOTA 性能，降低计算成本而不损失精度。
• 证明卷积神经网络架构在帧插值任务中可同时实现更高的准确率与效率，优于 Transformer 基架构。

提出的方法

• AMT 在所有像素对之间构建双向相关体积，以增强光流估计的保真度，尤其在大位移情况下表现更优。
• 采用缩放查找策略，以解决相关计算过程中因不可见帧导致的坐标错位问题。
• 通过全连接相关性实现跨尺度的双边光流与内容特征的联合更新，提升多尺度下的运动一致性。
• 从单一粗光流对中衍生出多组细粒度光流场，为每个像素提供多样化的特征扭曲候选。
• 对每帧输入分别使用多个光流场进行反向扭曲，提升遮挡区域的重建质量。
• 采用自适应融合机制结合残差精炼，实现更优的细节恢复与纹理一致性。

实验结果

研究问题

• RQ1 为何先前的 VFI 方法在大位移与遮挡条件下难以实现准确的光流估计？
• RQ2 如何改进光流估计，使其既与真实光流保持一致，又在局部细节上具备多样性？
• RQ3 能否通过多个精细化光流场对单一粗光流对进行增强，以更好处理如遮挡等模糊区域？
• RQ4 全连接相关性在多尺度光流与内容特征精炼中起到了多大作用？
• RQ5 卷积神经网络架构在帧插值任务中能否同时超越 Transformer 基架构，在准确率与效率上均表现更优？

主要发现

• AMT 在 Vimeo90K 上实现 SOTA 性能，相比 IFRNet-L 提升 +0.15 dB PSNR，同时仅使用 75% 的 FLOPs 与 65% 的参数量。
• 小型 AMT-S 模型相比 IFRNet-B 提升 +0.17 dB PSNR，而仅使用其 60% 的 FLOPs 与参数量。
• 使用三对光流场可带来显著性能增益，七对时达到饱和，表明在大模型中五对为最佳平衡点。
• 消融实验证实，全连接相关性对光流与内容特征的联合精炼至关重要，若移除则 PSNR 显著下降。
• 多场精炼显著提升遮挡处理能力，实现被运动物体遮挡的背景区域的一致纹理恢复。
• 多张扭曲特征与残差精炼的自适应融合优于基于平均或非残差变体，证明逐帧细节补偿的重要性。