[論文レビュー] JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting

Ron Mokady, Rotem Tzaban+3 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Vision and Imaging参考文献 43被引用数 4

ひとこと要約

JOKR は、ドメインの不変性を保証するドメインの混乱損失を用いて、動きと外見を分離するための共同キーポイント表現を導入する。この手法により、教師なしで、ペairedデータが不要であり、スケールや回転の違いに対して頑健なアフィン不変キーポイント表現を用いて、異なる形状やスタイル（動物、花、ダンサーやその他の非人間の被写体）の動画間で、時間的に整合的で視覚的に現実的な動きの転送を実現する。

ABSTRACT

The task of unsupervised motion retargeting in videos has seen substantial advancements through the use of deep neural networks. While early works concentrated on specific object priors such as a human face or body, recent work considered the unsupervised case. When the source and target videos, however, are of different shapes, current methods fail. To alleviate this problem, we introduce JOKR - a JOint Keypoint Representation that captures the motion common to both the source and target videos, without requiring any object prior or data collection. By employing a domain confusion term, we enforce the unsupervised keypoint representations of both videos to be indistinguishable. This encourages disentanglement between the parts of the motion that are common to the two domains, and their distinctive appearance and motion, enabling the generation of videos that capture the motion of the one while depicting the style of the other. To enable cases where the objects are of different proportions or orientations, we apply a learned affine transformation between the JOKRs. This augments the representation to be affine invariant, and in practice broadens the variety of possible retargeting pairs. This geometry-driven representation enables further intuitive control, such as temporal coherence and manual editing. Through comprehensive experimentation, we demonstrate the applicability of our method to different challenging cross-domain video pairs. We evaluate our method both qualitatively and quantitatively, and demonstrate that our method handles various cross-domain scenarios, such as different animals, different flowers, and humans. We also demonstrate superior temporal coherency and visual quality compared to state-of-the-art alternatives, through statistical metrics and a user study. Source code and videos can be found at https://rmokady.github.io/JOKR/ .

研究の動機と目的

• オブジェクト固有の事前知識やラベル付きデータを必要とせずに、異なる形状やスタイルの動画間で教師なしの動き転送を可能にすること。
• ドメイン間で共有されるドメイン不変キーポイント表現を学習することで、動きのコンテンツを外見や形状から分離すること。
• 最先端の手法と比較して、クロスドメイン動画生成における時間的整合性と視覚的質を向上させること。
• 生成された動画における解釈可能で編集可能なキーポイントの操作を通じて、直感的な制御を可能にすること。
• 特に、異なるスケール比を持つ動物や非人間の被写体を含む、挑戦的なクロスドメインペアへの動き転送の適用範囲を拡張すること。

提案手法

• 本手法は、ソース動画とターゲット動画の両方から共通のキーポイントヘッドを介して共同キーポイント表現（JOKR）を抽出するエンコーダ・デコーダアーキテクチャを採用する。
• ドメインの混乱損失を適用して、キーポイント特徴がドメインに依存せず区別不能になるようにし、共通の動きとドメイン固有の外見・形状を分離する。
• 学習されたアフィン変換をJOKRに適用することで、アフィン不変性を達成し、ソースとターゲット動画間のスケール、回転、アスペクト比の違いに対して頑健性を確保する。
• 時間的正則化を適用して、連続するフレーム間のキーポイント移動を制約することで、滑らかで整合性のある動きを保証する。
• キーポイント位置の手動操作を可能にすることで、意味的に意味のある動きの変化を生成する直感的な編集をサポートする。
• 2段階の生成プロセスを採用：まずキーポイントから形状を再構築し、次にターゲットのスタイルを適用して最終的な動画フレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 異なる形状やスタイルの動画間で、教師なしに共同キーポイント表現を学習し、動きの転送を可能にすることができるか？
• RQ2 ドメインの混乱を効果的に適用することで、共通の動きとドメイン固有の外見・幾何学的形状を分離するにはどうすればよいか？
• RQ3 アフィン不変キーポイント表現は、クロスドメインの動き転送においてスケールや回転の違いに対してどの程度頑健性を向上させるか？
• RQ4 学習されたキーポイント表現は、生成された動画の動きに対して直感的で意味論的な編集を可能にするか？
• RQ5 多様なクロスドメイン動画ペアにおいて、本手法は最先端の手法と比較して時間的整合性と視覚的質の面でどの程度優れているか？

主な発見

• 時間的正則化を適用した場合、隣接フレーム間の正規化キーポイント変位が 0.0023 にまで低下する一方、正則化なしでは 0.0055 にまで上昇する。
• ドメインの混乱損失を省略すると、キーポイント表現が形状とテクスチャ情報を捉えるようになり、分離が崩れ、アーチファクトが生じる。
• 時間的正則化を省略すると、キーポイントの不規則な動きにより、動きが一貫性を失い、欠損した体部などの顕著なアーチファクトが発生する。
• アブレーションスタディの結果、形状を最初に再構築し、その後にスタイルを適用する2段階の生成プロセスが、キーポイントから直接フレームを生成する手法よりも高い視覚的質を達成することが確認された。
• 学習されたアフィン変換は、訓練の安定性を著しく向上させ、横長のネコと回転したトラのような異なる方向性やスケールを持つ動画の成功した転送を可能にした。
• ユーザースタディおよび定量的指標の両方で、JOKR が動物、花、ダンサーを含む多様なクロスドメインペアにおいて、視覚的質と時間的整合性の面で最先端の手法を上回ることが示された。