[論文レビュー] Audio2Face: Generating Speech/Face Animation from Single Audio with Attention-Based Bidirectional LSTM Networks

Guanzhong Tian, Yi Yuan+1 more|arXiv (Cornell University)|May 27, 2019

Face recognition and analysis参考文献 15被引用数 5

ひとこと要約

本論文では、メル周波数ケプストラム係数（MFCCs）を用いたアテンションベースの双方向LSTMネットワークを用いて、単一の音声入力からリアルな3次元顔面アニメーション（口元の動きや自発的表現を含む）をエンドツーエンドで生成するAudio2Faceという深層学習フレームワークを提案する。モデルは時間的依存性とアテンション重み付き音声特徴を学習することで、低遅延な性能を達成し、リアルタイムのアニメーションを可能にする。

ABSTRACT

We propose an end to end deep learning approach for generating real-time facial animation from just audio. Specifically, our deep architecture employs deep bidirectional long short-term memory network and attention mechanism to discover the latent representations of time-varying contextual information within the speech and recognize the significance of different information contributed to certain face status. Therefore, our model is able to drive different levels of facial movements at inference and automatically keep up with the corresponding pitch and latent speaking style in the input audio, with no assumption or further human intervention. Evaluation results show that our method could not only generate accurate lip movements from audio, but also successfully regress the speaker's time-varying facial movements.

研究の動機と目的

• ビデオ、画像、手動の介入を一切必要としない、音声のみから高精細な顔面アニメーションを生成するリアルタイムでエンドツーエンドのシステムを開発すること。
• 複雑で時間的に変化する顔面の動きを音声入力にマッピングする課題に取り組むこと。これは長距離の依存関係と非線形マッピングを含む。
• 感情的・発音状態に関連する潜在表現を学習することで、口唇の動きと自発的顔面表現の両方をモデル化すること。
• 訓練後、新しい3次元顔面ジオメトリにリターゲティング可能であるように、異なる顔モデルへの一般化を確保すること。
• インタラクティブなアプリケーションへの展開を想定し、推論速度を最適化して厳しいリアルタイム制約を満たすこと。

提案手法

• 入力は、手作業で作成されたメル周波数ケプストラム係数（MFCCs）に変換された生の音声であり、主な音声特徴として機能する。
• 双方向LSTMネットワークが順方向および逆方向の両方向から時間的依存性と文脈的情報を捉えるために、順序付きMFCCsを処理する。
• アテンション機構がLSTM層に統合され、各タイムステップにおける異なる音声特徴の重要性を動的に重み付けすることで、音声と顔面運動の整合性が向上する。
• 出力は、3次元モーファブル顔面モデルのブレンドシェイプパラメータのシーケンスであり、口元の形状や自発的表現を含むリアルな顔面変形を駆動する。
• 予測値と真値のブレンドシェイプパラメータの平均二乗誤差（MSE）を損失関数として用い、エンドツーエンドで全フレームワークを訓練する。
• 推論はリアルタイム性能を最適化しており、1音声ウィンドウあたり平均0.68ms（33.3msフレームレート）の処理時間となっており、リアルタイムアニメーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、視覚的・補助的入力が一切ない状態で、音声のみから正確で自然な顔面アニメーションを生成できるか？
• RQ2 アテンションベースの双方向LSTMは、多様な発話スタイルや発音の高さを含む複雑で非線形な音声特徴と顔面運動のマッピングを、どの程度効果的に学習できるか？
• RQ3 標準的なRNNやHMMと比較して、アテンション機構は時間的整合性と顔面細部の生成においてどの程度性能向上をもたらすか？
• RQ4 リターゲティングによって、訓練済みモデルは新しい3次元顔面モデルに一般化可能であり、顔面表現の正確性を保持できるか？
• RQ5 モデルの推論遅延はどの程度で、バーチャルエージェントやテレビ会議などのリアルタイムアプリケーションをサポートできるか？

主な発見

• 提案手法は、HMMおよび標準LSTMベースラインと比較して、全テストセットにおいて最小のRMSEを達成した。平均指標では512ノードのRMSEが0.2883であり、ブレンドシェイプパラメータ予測の優れた正確性を示している。
• 512ノードのモデルは、顔面アニメーションタスクにおいてより小さなアーキテクチャを上回り、複雑で全顔面の動きを生成するには高い容量が必要であることを示唆している。
• リターゲティングによる実験で、異なるコマーシャルキャラクタに成功して適用され、顔面運動の一貫性が保持されていることから、新しい顔モデルへの一般化が良好に行われていることが示された。
• 推論は1音声ウィンドウあたり平均0.68ms（33.3msフレームレート）で実行され、リアルタイム動作が確認され、インタラクティブなアプリケーションに適している。
• モデルは口唇の動きと自発的顔面表現の両方を正しく回帰しているが、その理由は瞬きのパターンが音声と相関がないため、予測に失敗している。
• 定性的な結果では、特に唇の同期と動的な顔面表現において、真値に密接に一致する現実的で自然な顔面アニメーションが得られている。