[論文レビュー] SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation

Wenxuan Zhang, Xiaodong Cun+6 more|arXiv (Cornell University)|Nov 22, 2022

Face recognition and analysis被引用数 9

ひとこと要約

SadTalker は、音声から 3D 動作係数（頭部ポーズ、表情）を生成し、それを 3D 適応型顔レンダラに暗黙的に作用させて高精細な動画合成を実現する、新しい音声駆動型会話顔アニメーションシステムを提案する。ExpNet と PoseVAE を用いて表現とポーズのモデリングを分離し、未教師付きの 3D キーポイントマッピングを有する新規な 3D 適応型レンダラを活用することで、動きのリアルさ、同期性、視覚的品質の面で最先端の性能を達成した。

ABSTRACT

Generating talking head videos through a face image and a piece of speech audio still contains many challenges. ie, unnatural head movement, distorted expression, and identity modification. We argue that these issues are mainly because of learning from the coupled 2D motion fields. On the other hand, explicitly using 3D information also suffers problems of stiff expression and incoherent video. We present SadTalker, which generates 3D motion coefficients (head pose, expression) of the 3DMM from audio and implicitly modulates a novel 3D-aware face render for talking head generation. To learn the realistic motion coefficients, we explicitly model the connections between audio and different types of motion coefficients individually. Precisely, we present ExpNet to learn the accurate facial expression from audio by distilling both coefficients and 3D-rendered faces. As for the head pose, we design PoseVAE via a conditional VAE to synthesize head motion in different styles. Finally, the generated 3D motion coefficients are mapped to the unsupervised 3D keypoints space of the proposed face render, and synthesize the final video. We conducted extensive experiments to demonstrate the superiority of our method in terms of motion and video quality.

研究の動機と目的

• 既存の音声駆動型会話顔生成手法が示す不自然な頭部運動、歪みのある表情、アイデンティティの変化といった限界を是正すること。
• 3D 面貌運動係数（頭部ポーズ、表情）を分離された音声駆動型表現としてモデル化することで、動きのリアルさと動画品質を向上させること。
• 明示的な 3D 監督を必要とせず、3DMM 係数をリアルな動画にマッピングする 3D 適応型顔レンダラを開発すること。
• 単一の参照画像と音声から、スタイリッシュで多様性があり、同期された会話顔生成を可能にすること。

提案手法

• ExpNet は、唇の動きに限定された係数から蒸留し、3D レンダリング顔上で唇の読み取りとランドマークに基づく損失を適用することで、音声から顔の表情係数を学習する。
• PoseVAE は、入力音声に条件付けられた残留ポーズ変異を学習する条件付き VAE であり、多様でスタイリッシュな頭部ポーズ運動をモデル化する。
• 新規な 3D 適応型顔レンダラは、3DMM 動作係数を未教師付きの 3D キーポイント空間にマッピングし、元の画像のアイデンティティを保持したワープを可能にする。
• 2段階のトレーニングパイプラインを採用：まず表現とポーズヘッドを独立してトレーニングし、次にエンド・トゥ・エンド推論で顔レンダラを共同でファインチューニングする。
• 顔レンダラは、スパarsな未教師付き 3D キーポイント監視を用いて、3DMM 係数を 2D ワープフィールドに変換するマッピングネットワークを採用する。
• 敵対的損失、アイデンティティ再構築損失、音声視覚同期損失を用いてトレーニングすることで、リアルさと整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 音声から分離された表現として 3D 動作係数（表情とポーズ）を学習することで、会話顔アニメーションのリアルさを向上させ、歪みを低減できるか？
• RQ2 明示的な 3D 監督を必要としない 3D 適応型顔レンダラは、3DMM 係数から高品質な動画を効果的に生成できるか？
• RQ3 条件付き VAE を用いてポーズの多様性をモデル化することで、頭部運動の自然さとスタイリッシュさがどの程度向上するか？
• RQ4 提案手法は、従来の 2D フローまたはランドマークベース手法と比較して、運動同期性と視覚的品質において優れた性能を達成できるか？
• RQ5 分離された 3D 係数学習は、アイデンティティの変更と表情の歪みをどの程度軽減できるか？

主な発見

• 混合スタイル設定下で、提案手法は多様性スコア 0.2778 とビート同期スコア 0.293 を達成し、固定スタイルベースライン（多様性 0.2735、ビート同期 0.287）を上回った。
• アブレーションスタディの結果、GAN 損失を除去すると多様性が 0.2500 に低下し、ビート同期が 0.271 に低下し、リアルさに果たす重要性が示された。
• 初期ポーズ条件を除去すると、多様性は 0.2725 に、ビート同期は 0.278 に低下し、運動の一貫性に寄与することが確認された。
• 顔レンダラのアブレーションでは、PIRenderer よりも優れた表情再構築が達成され、不自然な顔のアライメントアーチファクトが減少した。
• 従来の最先端手法に比べ、歪みとアイデンティティの変化を低減する面で、運動同期性と動画品質において優れた性能を示した。
• 限界として、3DMM が歯の変動をモデル化できないため、時々歯のアーチファクトが生じるが、GFPGAN などの後処理修復ネットワークで軽減可能である。