[論文レビュー] Audio2Gestures: Generating Diverse Gestures from Speech Audio with Conditional Variational Autoencoders

Jing Li, Di Kang+5 more|arXiv (Cornell University)|Aug 15, 2021

Human Pose and Action Recognition参考文献 41被引用数 6

ひとこと要約

本稿では、音声駆動の共有潜在コードと多様性誘導のための動き固有潜在コードに潜在コードを分割する条件付き変分オートエンコーダー、Audio2Gesturesを提案する。このモデルは、音声と共同で発話するジェスチャーの1対多マッピングをモデル化する。マッピングネットワーク、緩和された動き損失、多様性正則化を導入することで、従来手法よりもより現実的で多様性に富み、マルチモーダルなジェスチャーを生成する。また、動き固有潜在コードの操作により、制限付きの動き編集が可能となる。

ABSTRACT

Generating conversational gestures from speech audio is challenging due to the inherent one-to-many mapping between audio and body motions. Conventional CNNs/RNNs assume one-to-one mapping, and thus tend to predict the average of all possible target motions, resulting in plain/boring motions during inference. In order to overcome this problem, we propose a novel conditional variational autoencoder (VAE) that explicitly models one-to-many audio-to-motion mapping by splitting the cross-modal latent code into shared code and motion-specific code. The shared code mainly models the strong correlation between audio and motion (such as the synchronized audio and motion beats), while the motion-specific code captures diverse motion information independent of the audio. However, splitting the latent code into two parts poses training difficulties for the VAE model. A mapping network facilitating random sampling along with other techniques including relaxed motion loss, bicycle constraint, and diversity loss are designed to better train the VAE. Experiments on both 3D and 2D motion datasets verify that our method generates more realistic and diverse motions than state-of-the-art methods, quantitatively and qualitatively. Finally, we demonstrate that our method can be readily used to generate motion sequences with user-specified motion clips on the timeline. Code and more results are at https://jingli513.github.io/audio2gestures.

研究の動機と目的

• 従来のモデルが1対1の仮定に基づくため、話者の音声と共同で発話するジェスチャーの1対多マッピングを捉えきれていないという課題に対処すること。
• マルチモーダルな動き出力を明示的にモデル化することで、音声駆動ジェスチャー生成における動きの現実性と多様性を向上させること。
• 動き固有潜在コードの編集を可能にすることで、ユーザー制御の可能な動き合成を実現すること。具体的には、事前に定義されたジェスチャーを挿入可能にする。
• 緩和された損失と多様性正則化を用いた新しい訓練戦略により、分離可能なVAEにおける訓練の不安定性と劣化を克服すること。

提案手法

• 同じ音声入力に対して多様な動き出力をモデル化するため、マルチモーダルな潜在コードを音声から学習する共有コードと、音声とは独立した動き固有コードに分割する。
• サンプリングされた動き固有ノイズの統計的分布を真の動き固有特徴分布と一致させるために、マッピングネットワークを導入し、劣化を防ぐ。
• 大きな関節ずれのみをペナルティとする緩和された動き損失を適用し、動き固有コードが動きを調整しつつも、音声制御を維持できるようにする。
• バイクル・コンシステンシー損失と多様性損失を用いて、モード崩壊を軽減し、生成されたシーケンスの動きの多様性を向上させる。
• 動きエンコーダーは参照動画クリップから動き固有コードを抽出し、コードの置換により生成ジェスチャーの正確な制御を可能にする。
• 再構成損失、共有コード損失、正則化損失を用いて、3次元および2次元の動きデータセット上でエンドツーエンドにモデルを訓練する。

Figure 4: User study results comparing our method against the state-of-the-art methods. “S2G” is short for Speech2Gesture [ 12 ] . The horizontal axis represents the number of samples rated by the participants. In total, 160 comparisons have been rated (40 participants, 4 comparisons each questionna

実験結果

リサーチクエスチョン

• RQ1 共有潜在コードと動き固有潜在コードを持つ分離可能な潜在空間は、話者の音声とジェスチャーの1対多関係を効果的にモデル化できるか？
• RQ2 VAEフレームワークに動き固有潜在コードを導入した際の訓練の不安定性と劣化をどのように軽減できるか？
• RQ3 本モデルは、1対1マッピングベースラインを上回る多様で現実的でマルチモーダルなジェスチャーを生成できるか？
• RQ4 動き固有コードを用いて、生成された動きシーケンスに事前に定義されたジェスチャーを挿入・編集できる程度はどの程度か？

主な発見

• 提案手法は、ベースラインの3.44から顕著に向上した3.68のマルチモーダルスコアを達成し、多様な動き出力のモデル化が優れていることを示している。
• 平均的な多様性は5.86から6.31に向上し、リアルさも維持されている。L1損失は低下し、PCKは上昇しており、ベースラインモデルと比較して優れた性能を示している。
• 最終モデルは、L1損失、PCK、多様性、マルチモーダルスコアのすべての定量的指標でベースラインを上回り、優れたリアルさと多様性を示している。
• 動き固有コードの置換により、ユーザー定義の動きクリップを滑らかで現実的な方法で挿入可能であり、制限付きの動き編集への応用が妥当であることを検証した。
• 緩和された動き損失と多様性正則化は、多様性とマルチモーダルスコアの継続的向上により、モード崩壊の軽減に効果的であることが示された。
• マッピングネットワークは、サンプリングされたノイズを動き固有特徴と一致させるために不可欠であり、その欠如は多様性の向上にもかかわらず性能の劣化を引き起こす。