[論文レビュー] End-to-end Learning for 3D Facial Animation from Raw Waveforms of Speech

Hai Pham, Yuting Wang+1 more|arXiv (Cornell University)|Oct 2, 2017

Face recognition and analysis参考文献 34被引用数 15

ひとこと要約

この論文では、手作業で作成した音声特徴量に依存せずに、生の音声波形を直接3次元顔面アニメーションパラメータ（顔の動きの単位と頭部の回転）に変換するエンドツーエンドのディープラーニングフレームワークを提示する。モデルはCNN+GRUアーキテクチャを用い、音声から時間的ダイナミクスと感情の強度を学習し、リアルタイムで話者に依存しないアニメーションを実現し、微表情と感情状態の再現性を向上させた。

ABSTRACT

We present a deep learning framework for real-time speech-driven 3D facial animation from just raw waveforms. Our deep neural network directly maps an input sequence of speech audio to a series of micro facial action unit activations and head rotations to drive a 3D blendshape face model. In particular, our deep model is able to learn the latent representations of time-varying contextual information and affective states within the speech. Hence, our model not only activates appropriate facial action units at inference to depict different utterance generating actions, in the form of lip movements, but also, without any assumption, automatically estimates emotional intensity of the speaker and reproduces her ever-changing affective states by adjusting strength of facial unit activations. For example, in a happy speech, the mouth opens wider than normal, while other facial units are relaxed; or in a surprised state, both eyebrows raise higher. Experiments on a diverse audiovisual corpus of different actors across a wide range of emotional states show interesting and promising results of our approach. Being speaker-independent, our generalized model is readily applicable to various tasks in human-machine interaction and animation.

研究の動機と目的

• 生の音声波形のみに依存してリアルタイムで話者に依存しない3次元顔面アニメーションシステムを開発すること。
• 明示的な感情ラベルなしで、時間的に変化する文脈的情報と感情状態をモデル化すること。
• MFCC やクロマグラムなどのエンジニアリング特徴量に依存しないことにより、感情固有の詳細を失うのを回避すること。
• エンドツーエンド学習により、微細な動きと感情の強度を含む滑らかでリアルな顔面アニメーションを生成すること。
• 生の音声から潜在表現を学習することで、音声駆動型3次元アバターの一般化性能とリアリズムを向上させること。

提案手法

• モデルは、生の音声のフーリエ変換スペクトログ램から意味のあるスペクトル表現を直接抽出するための畳み込みニューラルネットワーク（CNN）を用いる。
• CNNの後続にゲート付き再帰ユニット（GRU）層を積み重ね、時間的依存性をモデル化し、顔の動きにおける動的遷移を捉える。
• ネットワークは顔の動きの単位（FAU）の活性化と頭部回転パラメータをエンドツーエンドで出力し、中間の発音やビズム表現を経由せずに直接出力する。
• 3次元顔面モデルは、ネットワーク出力から導かれるブレンドシェイプ重みによって駆動され、リアルな表情再現を実現する。
• フレームワークは、生の波形と真値の3次元顔面ランドマークを用いてRAVDESSデータセット上でエンドツーエンドで訓練される。
• 比較のためのベースラインとして、再帰的処理を行わず各フレームを独立して処理するCNNスタティックモデルが用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、手作業で作成した特徴量に依存せずに、生の音声波形からリアルな3次元顔面アニメーションを生成できるか？
• RQ2 モデルは、音声のみから感情の強度や感情状態を暗黙的に推定し、再現できるか？
• RQ3 LSTM/GRUなどの再帰層を含むモデルと、フレームごとに独立して処理するベースラインモデルとを比較した場合、時間的滑らかさと正確性にどのような差が生じるか？
• RQ4 MFCCなどのエンジニアリング特徴量ではなく、生のスペクトログラムを用いることで、微細な感情的ニュアンスを捉える能力が向上するか？
• RQ5 多様な音声ビジュアルコーパスにおいて、モデルは異なる話者や感情状態にどれほど一般化できるか？

主な発見

• CNN+GRUモデルは、全感情カテゴリと全被験者において最小のランドマーク誤差（0.7mm RMSE）を達成し、ベースラインおよびCNN+LSTMモデルを上回った。
• CNNスタティックベースラインは、再帰的処理がないにもかかわらず、他のモデルと比較して30％低い誤差を記録した（一般化性能が優れていたため）、ただし顔の動きの遷移が滑らかでなかった。
• CNN+GRUモデルはCNN+LSTMモデルよりも一般化性能に優れており、GRUのより単純なアーキテクチャが訓練データでの過学習を低減していると考えられる。
• モデルは、喜びの発話における口の開きの拡大や、驚きの発話における眉の挙上といった微表情の動きを成功裏に再現し、感情の暗黙的モデリングを示した。
• 結果から、CNNは生の音声から顔の動き表現を効果的に学習できるが、再帰層は正則化が不十分な場合には過学習を引き起こす可能性があることが示された。
• モデルは妥当な頭部回転を生成したが、頭部ポーズ推定は主な目的ではなく、顔面パラメータ推定よりも正確性に劣っていた。