[论文解读] Human MotionFormer: Transferring Human Motions with Vision Transformers

Hongyu Liu, Xintong Han+9 more|arXiv (Cornell University)|Feb 22, 2023

Human Pose and Action Recognition被引用 5

一句话总结

Human MotionFormer 提出了一种分层视觉变换器框架，通过联合建模全局和局部运动匹配，实现高保真的人体动作迁移。它使用双 ViT 编码器进行特征提取，并采用带有变形和生成分支的多头交叉注意力解码器，结合互学习损失，实现了在定性和定量指标上的最先进性能。

ABSTRACT

Human motion transfer aims to transfer motions from a target dynamic person to a source static one for motion synthesis. An accurate matching between the source person and the target motion in both large and subtle motion changes is vital for improving the transferred motion quality. In this paper, we propose Human MotionFormer, a hierarchical ViT framework that leverages global and local perceptions to capture large and subtle motion matching, respectively. It consists of two ViT encoders to extract input features (i.e., a target motion image and a source human image) and a ViT decoder with several cascaded blocks for feature matching and motion transfer. In each block, we set the target motion feature as Query and the source person as Key and Value, calculating the cross-attention maps to conduct a global feature matching. Further, we introduce a convolutional layer to improve the local perception after the global cross-attention computations. This matching process is implemented in both warping and generation branches to guide the motion transfer. During training, we propose a mutual learning loss to enable the co-supervision between warping and generation branches for better motion representations. Experiments show that our Human MotionFormer sets the new state-of-the-art performance both qualitatively and quantitatively. Project page: \url{https://github.com/KumapowerLIU/Human-MotionFormer}

研究动机与目标

• 为解决在人体动作迁移中准确匹配源人物与目标动作之间大范围和细微运动变化的挑战。
• 克服基于 CNN 的方法在捕捉长距离依赖关系和稀疏关键点表征方面的局限性。
• 通过使用视觉变换器联合建模全局与局部特征匹配，提升动作迁移质量。
• 通过结合变形和生成分支并引入相互监督，减少伪影并提升照片真实感。

提出的方法

• 该框架采用两个视觉变换器编码器，从源人物图像和目标姿态图像中提取分层特征。
• 解码器采用级联块结构，利用交叉注意力机制，将目标动作特征作为查询，源特征作为键和值，实现全局匹配。
• 在交叉注意力之后引入卷积层，以增强局部感知能力并优化特征对齐。
• 解码器包含两个并行分支：一个变形分支，通过预测的光流场对源特征进行形变；一个生成分支，用于合成新颖的外观细节。
• 引入互学习损失，对齐变形分支与生成分支之间的特征，实现协同监督并提升表征学习能力。
• 模型在 10 个周期内采用对抗性损失和多尺度监督进行训练，并使用学习率衰减策略。

实验结果

研究问题

• RQ1 视觉变换器能否有效建模人体动作迁移中的全局与局部运动匹配？
• RQ2 与单分支方法相比，联合优化变形与生成分支在提升动作迁移真实感方面有何优势？
• RQ3 分支之间的互学习在增强特征表征和减少伪影方面达到何种程度的改善？
• RQ4 与基于 CNN 和 3D 网格的方法相比，该方法在处理大范围运动变化和部分遮挡时表现如何？
• RQ5 该框架是否能在多样化的源人物和目标动作上实现泛化，同时保持身份一致性和外观保真度？

主要发现

• 在 YouTube 数据集上，完整版 Human MotionFormer 模型的 PSNR 为 23.50，SSIM 为 0.885，LPIPS 为 0.073，FID 为 65.03，优于所有消融实验变体。
• 移除变形分支后出现严重伪影，如衣物区域出现不自然的绿色和黑色区域，表明其在保持源外观方面具有关键作用。
• 仅使用生成分支会因过拟合而产生不真实输出，而仅使用变形分支则因无法生成新内容而缺乏照片真实感。
• 互学习损失显著减少了视觉伪影并提升了图像质量，与无互学习的消融实验相比，FID 提升了 2.5 分。
• 消融实验证实，全局交叉注意力与局部卷积精炼均对准确匹配和高保真度合成至关重要。