[論文レビュー] Audio-Driven Co-Speech Gesture Video Generation

Xian Liu, Qianyi Wu+5 more|arXiv (Cornell University)|Dec 5, 2022

Human Motion and Animation被引用数 13

ひとこと要約

本稿では、2次元・3次元スケルトンなどの構造的ヒューマンプライアを用いない、画像ドメインにおける音声駆動型共話ジェスチャー動画生成のための新規統合フレームワークであるANGIEを提案する。ベクトル量子化されたモーショングレーティング抽出器を用いて再利用可能なジェスチャーパターンを学習し、モーショングレーティングを反映したCo-Speech GPTにより微細なリズム的ダイナミクスを捉えることで、音声から高精細で現実的なジェスチャー動画生成を実現する。

ABSTRACT

Co-speech gesture is crucial for human-machine interaction and digital entertainment. While previous works mostly map speech audio to human skeletons (e.g., 2D keypoints), directly generating speakers' gestures in the image domain remains unsolved. In this work, we formally define and study this challenging problem of audio-driven co-speech gesture video generation, i.e., using a unified framework to generate speaker image sequence driven by speech audio. Our key insight is that the co-speech gestures can be decomposed into common motion patterns and subtle rhythmic dynamics. To this end, we propose a novel framework, Audio-driveN Gesture vIdeo gEneration (ANGIE), to effectively capture the reusable co-speech gesture patterns as well as fine-grained rhythmic movements. To achieve high-fidelity image sequence generation, we leverage an unsupervised motion representation instead of a structural human body prior (e.g., 2D skeletons). Specifically, 1) we propose a vector quantized motion extractor (VQ-Motion Extractor) to summarize common co-speech gesture patterns from implicit motion representation to codebooks. 2) Moreover, a co-speech gesture GPT with motion refinement (Co-Speech GPT) is devised to complement the subtle prosodic motion details. Extensive experiments demonstrate that our framework renders realistic and vivid co-speech gesture video. Demo video and more resources can be found in: https://alvinliu0.github.io/projects/ANGIE

研究の動機と目的

• 2次元・3次元スケルトンなどの人体の構造的プライアに依存せずに、画像ドメインで現実的な共話ジェスチャーを直接生成する課題に対処すること。
• 再利用可能なモーショングレーティングパターンと微細なリズム的ダイナミクスへの分解として共話ジェスチャーをモデル化し、忠実度を向上させること。
• 事前定義されたジェスチャー規則や後処理を必要とせず、音声を直接画像シーケンスにマッピングする統合フレームワークの開発。
• 音声と自然に同期し、アイデンティティを保持する高精細なジェスチャー動画生成を可能にすること。

提案手法

• 教師なしモーション表現から再利用可能な共話ジェスチャー・パターンを学習するためのベクトル量子化モーショングレーティング抽出器（VQ-Motion Extractor）を提案する。
• 数値的安定性を確保するとともに、モーショングレーティング表現における対称正定値共分散行列を強制するため、コレスキー分解に基づく量子化方式を導入する。
• 空間的位置に依存しないモーショングレーティング表現を設計し、相対的なモーショングレーティングパターンを位置とは独立して抽出する。
• 音声から離散的モーショングレーティングコード列を予測するCo-Speech GPTモデルを採用し、大規模なジェスチャー・テンプレートを捉える。
• モーショングレーティング残差を用いて微細なリズム的ダイナミクスを追加するモーショングレーティング精錬ネットワークを統合し、音声のプロソディーとより精細に同期させる。
• 画像再構成損失（L1、知覚的損失）とAEDを用いてアイデンティティ保持を評価し、動画品質と忠実度を評価する。

実験結果

リサーチクエスチョン

• RQ1 2次元・3次元スケルトンなどの人体の構造的プライアに依存せずに、画像ドメインで共話ジェスチャー動画を直接生成可能か？
• RQ2 ベクトル量子化を用いて教師なしモーション表現から再利用可能な共話ジェスチャー・パターンを効果的に学習可能か？
• RQ3 GPTに類似したアーキテクチャが、音声から離散的モーショングレーティングコードを効果的に予測し、大規模なジェスチャー・テンプレートをモデル化可能か？
• RQ4 モーショングレーティング残差が微細なリズム的動きを精錬することで、音声のプロソディーとの同期性が向上し、現実性が向上するか？
• RQ5 本手法は、従来手法と比較してジェスチャー品質、アイデンティティ保持、音声視覚同期性において優れているか？

主な発見

• 提案されたANGIEフレームワークは、音声駆動型共話ジェスチャー動画生成において最先端の性能を達成し、Fréchet Gesture Distance（FGD）が1.35にまで低下し、アブレーション手法を著しく上回った。
• アブレーションスタディの結果、絶対的モーショングレーティング（μ）やモーショングレーティングの大きさ（L）を量子化するのではなく、相対的モーショングレーティング成分（Δμ）を量子化することで、より優れた性能が得られ、フルモデルではFGDが1.35に低下した。
• モーショングレーティング精錬モジュールを導入することで、精錬なしのベースラインと比較してAEDが15.7%低減し、アイデンティティ保持の向上が示された。
• コードブック解析により、各コードブックエントリが明確で意味のあるジェスチャー・パターンに対応しており、同じコードが異なるソース画像からも一貫したモーショングレーティングを生成することが確認された。
• 本手法は知覚的損失42.9およびL1損失0.037を達成し、高精度な画像再構成品質と忠実度を示した。
• 量子化を省いたアブレーションではFGDが5.86に上昇し、再利用可能なジェスチャー・パターンを学習するための量子化機構が不可欠であることが示された。