[論文レビュー] QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation

Sicheng Yang, Zhiyong Wu+5 more|arXiv (Cornell University)|May 18, 2023

Hand Gesture Recognition Systems被引用数 5

ひとこと要約

本稿では、自然な音声駆動3Dジェスチャー生成のための、量子化ベースで位相をガイドするモーションマッチングフレームワーク、QPGestureを提案する。VQ-VAEを用いてジェスチャーを離散単位に圧縮し、音声の量子化に対してLevenshtein距離を用いることで、ジェスチャーと音声の同期を高め、ジターリダムを効果的に低減する。さらに位相ガイドにより自然さが向上し、BEATデータセットにおいて最先端の性能を達成。ユーザー評価でも人間らしさと適切さの両面で優れた結果を示した。

ABSTRACT

Speech-driven gesture generation is highly challenging due to the random jitters of human motion. In addition, there is an inherent asynchronous relationship between human speech and gestures. To tackle these challenges, we introduce a novel quantization-based and phase-guided motion-matching framework. Specifically, we first present a gesture VQ-VAE module to learn a codebook to summarize meaningful gesture units. With each code representing a unique gesture, random jittering problems are alleviated effectively. We then use Levenshtein distance to align diverse gestures with different speech. Levenshtein distance based on audio quantization as a similarity metric of corresponding speech of gestures helps match more appropriate gestures with speech, and solves the alignment problem of speech and gestures well. Moreover, we introduce phase to guide the optimal gesture matching based on the semantics of context or rhythm of audio. Phase guides when text-based or speech-based gestures should be performed to make the generated gestures more natural. Extensive experiments show that our method outperforms recent approaches on speech-driven gesture generation. Our code, database, pre-trained models, and demos are available at https://github.com/YoungSeng/QPGesture.

研究の動機と目的

• 教師なしVQ-VAEを用いて離散的で意味のあるジェスチャー単位を学習することで、音声駆動ジェスチャー生成におけるランダムなモーショングリッターを軽減すること。
• 音声とジェスチャーの固有の非同期性を解消するため、音声の量子化にLevenshtein距離を適用して、頑健な音声-ジェスチャー同期を実現すること。
• モーショングラフの位相情報を組み込むことで、音声ベースとテキストベースのジェスチャー候補の最適選択をガイドし、ジェスチャーの自然さを向上させること。
• BEATベンチマークデータセットにおいて、定量的指標と人間評価の両面で最先端の性能を達成すること。
• 学習済みコードブック空間における離散的コードの直接的操作により、制御可能なジェスチャー生成を可能にすること。

提案手法

• VQ-VAEモジュールを用いて、一意的で意味のあるジェスチャーポーズを表す離散的コードブックを学習し、入力の冗長性を低減するとともに、ランダムなジターリダムを軽減する。
• 音声も同じコードブックを用いて量子化し、音声の量子化シーケンス間のLevenshtein距離を計算することで、時間的整合性の高いジェスチャーと音声のマッチングを実現する。
• テキスト埋め込みを音声と併用して候補ジェスチャーを生成し、テキストの類似度をコサイン類似度で測定して、音声文脈との関連性を評価する。
• モーショングラフから得られる位相値を用いて、音声ベースとテキストベースのジェスチャー候補の最適選択をガイドし、リズム的および意味的整合性を確保する。
• 最終的なジェスチャー列は、音声とテキストの候補を位相ガイド付きで統合した結果に基づき、コードブックから最もマッチするコードを選択することで生成される。
• フレームワークは、コードブック内の離散的コードを直接操作することで、制御可能なジェスチャー生成を可能にし、ターゲットジェスチャーの編集や合成が可能となる。

Figure 1 : Gesture examples generated by our proposed method on various types of speech. The character is from Mixamo [ 2 ] .

実験結果

リサーチクエスチョン

• RQ1 学習済みの離散的コードブックは、音声駆動ジェスチャー生成における意味的で意味のあるジェスチャー単位を効果的に表現でき、モーショングリッターを低減できるか？
• RQ2 音声の量子化にLevenshtein距離を適用することで、エンドツーエンドのニューラルネットワークと比較して、音声とジェスチャーの時間的整合性が向上するか？
• RQ3 音声ベースとテキストベースのジェスチャー候補の間で位相ガイド付き選択を実施することで、生成ジェスチャーの自然さと意味的適切さが向上するか？
• RQ4 本稿で提案するモーションマッチングフレームワークは、エンドツーエンドの生成モデルと比較して、ジェスチャーの質と制御性の両面で優れているか？
• RQ5 個々のモジュール（音声の量子化、位相ガイド、テキストマッチング）は、人間評価および定量的指標における全体のパフォーマンスにどの程度寄与しているか？

主な発見

• 提案されたQPGestureフレームワークは、BEATベンチマークで最先端の性能を達成し、最近のニューラルネットワークベースのモデルと比較して、定量的指標と人間評価の両面で優れた結果を示した。
• ユーザー評価では、人間らしさと上半身の適切さの両面で顕著な向上が確認され、フルモデルはグランドトゥルースと同等の高いMOSスコアを達成した。
• アブレーションスタディにより、音声の量子化やLevenshtein距離を除去すると性能が低下することが確認され、これらが同期性と品質の向上に不可欠であることが裏付けられた。
• 位相ガイドによりジェスチャーの自然さが向上し、位相ガイドなしとの比較でヘリンジャー距離とFGDスコアが低下したが、その効果はわずかにしか現れなかった。
• モーションマッチングを用いないモデル（すなわち、GRUベースのジェネレータを用いる）は、マッチングベースのアプローチと比較して著しく性能が劣り、原始的なデータ空間上でのFGDが107%増加した。
• フレームワークは、シーケンス内の特定のコードを置き換えることで、制御可能なジェスチャー編集が可能であり、ジェスチャーの操作および解釈における実用的利点を示した。

Figure 2 : Gesture generation pipeline of our proposed framework. ‘Quan.’ is short for ‘quantization’ and ‘Cand.’ is short for ‘candidate’. Given a piece of audio, text and seed pose, the audio and gesture are quantized. The candidate for the speech is calculated based on the Levenshtein distance, a