[论文解读] MetaPix: Few-Shot Video Retargeting

Jessica Lee, Deva Ramanan+1 more|arXiv (Cornell University)|Oct 10, 2019

Human Pose and Action Recognition参考文献 40被引用 13

一句话总结

MetaPix 提出了一种元学习方法，用于少样本视频重定向，仅需少量帧即可快速有效地将通用生成模型个性化至目标人物和场景。通过将 Reptile 算法适配为联合元优化生成器与判别器权重，MetaPix 在极低监督（K=1）和计算量（T=20）条件下，仍实现了优于基线模型的时序一致性与性能表现。

ABSTRACT

We address the task of unsupervised retargeting of human actions from one video to another. We consider the challenging setting where only a few frames of the target is available. The core of our approach is a conditional generative model that can transcode input skeletal poses (automatically extracted with an off-the-shelf pose estimator) to output target frames. However, it is challenging to build a universal transcoder because humans can appear wildly different due to clothing and background scene geometry. Instead, we learn to adapt - or personalize - a universal generator to the particular human and background in the target. To do so, we make use of meta-learning to discover effective strategies for on-the-fly personalization. One significant benefit of meta-learning is that the personalized transcoder naturally enforces temporal coherence across its generated frames; all frames contain consistent clothing and background geometry of the target. We experiment on in-the-wild internet videos and images and show our approach improves over widely-used baselines for the task.

研究动机与目标

• 解决在仅提供少量目标帧的情况下，将源视频中的人体动作重定向至目标视频的挑战。
• 克服通用生成模型在处理不同个体与场景中多样化外观（如服装、背景）时的局限性。
• 开发一种方法，实现对预训练生成模型的快速、高效个性化，使其适应特定目标领域，仅通过少样本微调。
• 在未显式优化该属性的情况下，确保生成视频帧之间具有强时序一致性。
• 通过学习一种可泛化至不同样本数（K）与计算预算（T）的元初始化策略，实现低成本的训练与推理。

提出的方法

• 将视频重定向建模为少样本个性化问题，即仅使用 K 个帧将通用生成器适配至特定目标。
• 将一阶元学习算法 Reptile 适配至 GAN 的生成器与判别器，实现从少量样本中高效微调。
• 采用以骨骼姿态为输入的条件生成模型，生成对应图像帧，通过在目标帧上微调实现个性化。
• 利用元学习发现最优初始化策略，使模型能以最少计算量（T 次迭代）快速适应新目标。
• 通过学习一种在微调过程中能保持生成帧间一致服装与背景几何结构的初始化策略，确保时序一致性。
• 在多样化的源-目标对上训练元学习器，以在推理时泛化至未见过的演员与环境。

实验结果

研究问题

• RQ1 元学习能否有效应用于 GAN 以实现少样本视频重定向，从而在数据极少的情况下实现对新目标的快速适应？
• RQ2 与随机初始化或预训练模型初始化相比，元学习初始化是否能在少样本设置下带来更好的性能与时序一致性？
• RQ3 MetaPix 的性能如何随个性化过程中样本数（K）与计算预算（T）的变化而变化？
• RQ4 元学习模型能否在不同 K 与 T 值之间实现泛化，从而支持低成本部署？
• RQ5 元学习初始化在未显式引入时序正则化的情况下，能在多大程度上保持生成帧的时序一致性？

主要发现

• 在所有指标上，MetaPix 均优于随机初始化与预训练初始化，无论样本数（K）与计算预算（T）如何变化，其在 K=5、T=200 时达到 0.51 的 SSIM。
• 即使在 K=1 的极端少样本设置下，模型仍表现出色，证明其在最具挑战性的视频到图像重定向少样本场景中的有效性。
• MetaPix 展现出强大的泛化能力：在 T=200 训练的模型在推理时可良好泛化至其他 T 值，实现低成本推理。
• 元学习初始化从微调开始即生成时序一致的结果，而预训练基线模型则在帧间产生不一致的背景与服装。
• 更高的元学习率（ε=1.0）带来更优性能（SSIM=0.51），优于较低学习率（ε=0.1，SSIM=0.47），表明元优化对性能提升至关重要。
• 在元学习中冻结判别器与联合优化性能相近，表明对 GAN 进行元学习时，可能存在一个通用判别器已足够。