[论文解读] JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting

Ron Mokady, Rotem Tzaban+3 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Vision and Imaging参考文献 43被引用 4

一句话总结

JOKR 提出了一种用于无监督跨域动作重定向的联合关键点表征，通过域混淆损失强制实现域不变的关键点嵌入，从而将运动与外观解耦。该方法在无需监督或配对数据的情况下，实现了不同形状和风格（如动物、花朵和舞者）视频之间的时序一致、视觉逼真的动作迁移，利用仿射不变的关键点表征提升对尺度和旋转差异的鲁棒性。

ABSTRACT

The task of unsupervised motion retargeting in videos has seen substantial advancements through the use of deep neural networks. While early works concentrated on specific object priors such as a human face or body, recent work considered the unsupervised case. When the source and target videos, however, are of different shapes, current methods fail. To alleviate this problem, we introduce JOKR - a JOint Keypoint Representation that captures the motion common to both the source and target videos, without requiring any object prior or data collection. By employing a domain confusion term, we enforce the unsupervised keypoint representations of both videos to be indistinguishable. This encourages disentanglement between the parts of the motion that are common to the two domains, and their distinctive appearance and motion, enabling the generation of videos that capture the motion of the one while depicting the style of the other. To enable cases where the objects are of different proportions or orientations, we apply a learned affine transformation between the JOKRs. This augments the representation to be affine invariant, and in practice broadens the variety of possible retargeting pairs. This geometry-driven representation enables further intuitive control, such as temporal coherence and manual editing. Through comprehensive experimentation, we demonstrate the applicability of our method to different challenging cross-domain video pairs. We evaluate our method both qualitatively and quantitatively, and demonstrate that our method handles various cross-domain scenarios, such as different animals, different flowers, and humans. We also demonstrate superior temporal coherency and visual quality compared to state-of-the-art alternatives, through statistical metrics and a user study. Source code and videos can be found at https://rmokady.github.io/JOKR/ .

研究动机与目标

• 在无需对象特定先验或标注数据的情况下，实现不同形状和风格视频之间的无监督动作重定向。
• 通过在不同域之间学习共享的、域不变的关键点表征，将运动内容与外观和形状解耦。
• 与最先进方法相比，提升跨域视频生成的时序一致性和视觉质量。
• 通过可解释、可编辑的关键点操作，实现对生成视频动作的直观控制。
• 将动作重定向的应用范围扩展到具有挑战性的跨域配对，包括比例不同的动物和非人类主体。

提出的方法

• 该方法采用编码器-解码器架构，并通过共享的关键点头从源视频和目标视频中提取联合关键点表征（JOKR）。
• 应用域混淆损失，使关键点特征在域之间难以区分，从而强制实现共同运动与域特定外观和形状的解耦。
• 对 JOKR 应用学习到的仿射变换，以实现仿射不变性，提升对源视频与目标视频之间尺度、旋转和长宽比差异的鲁棒性。
• 应用时序正则化，通过约束连续帧之间关键点的运动，确保动作平滑且一致。
• 通过允许手动调整关键点位置，支持直观编辑，以生成语义上有意义的动作变化。
• 该方法采用两阶段生成流程：首先从关键点重建形状，然后应用目标风格生成最终视频帧。

实验结果

研究问题

• RQ1 能否在无监督设置下学习到联合关键点表征，以实现不同形状和风格视频之间的动作重定向？
• RQ2 如何有效应用域混淆，以分离共同运动与域特定的外观和几何特征？
• RQ3 仿射不变的关键点表征在多大程度上提升了对跨域动作迁移中尺度和旋转差异的鲁棒性？
• RQ4 所学习的关键点表征能否支持对生成视频动作的直观、语义级编辑？
• RQ5 在多样化跨域视频对中，该方法在时序一致性和视觉质量方面与最先进方法相比表现如何？

主要发现

• 该方法在应用时序正则化时，相邻帧之间的归一化关键点位移仅为 0.0023，而未使用时则上升至 0.0055，表明其具有优越的时序一致性。
• 若省略域混淆损失，关键点表征会捕捉形状和纹理信息，从而破坏解耦，导致伪影出现。
• 若移除时序正则化，关键点运动变得不稳定，导致动作不一致和明显伪影（如身体部位缺失）。
• 消融实验证实，两阶段生成流程（先重建形状，再添加风格）生成的视觉质量优于直接从关键点生成帧的方法。
• 学习到的仿射变换显著提升了训练稳定性，并成功实现了不同方向和尺度视频（如横向的猫和旋转的老虎）之间的重定向。
• 用户研究和定量指标表明，JOKR 在多样化跨域配对（包括动物、花朵和舞者）中，视觉质量与时序一致性方面均优于最先进方法。