[論文レビュー] Real-Time Lip Sync for Live 2D Animation

Deepali Aneja, Wilmot Li|arXiv (Cornell University)|Oct 19, 2019

Speech and Audio Processing参考文献 29被引用数 9

ひとこと要約

本論文では、200ms未満の遅延でリアルタイムに動作する、LSTMモデルを用いた深層学習ベースのライブ2Dアニメーション用のリップシンクシステムを提示する。この手法は、的を射た特徴工学とデータ拡張を用いることで、最小限の手動アニメーションデータ（13〜20分）で高品質な結果を達成し、人間評価においてリアルタイムおよびオフライン手法を上回る性能を発揮する。

ABSTRACT

The emergence of commercial tools for real-time performance-based 2D animation has enabled 2D characters to appear on live broadcasts and streaming platforms. A key requirement for live animation is fast and accurate lip sync that allows characters to respond naturally to other actors or the audience through the voice of a human performer. In this work, we present a deep learning based interactive system that automatically generates live lip sync for layered 2D characters using a Long Short Term Memory (LSTM) model. Our system takes streaming audio as input and produces viseme sequences with less than 200ms of latency (including processing time). Our contributions include specific design decisions for our feature definition and LSTM configuration that provide a small but useful amount of lookahead to produce accurate lip sync. We also describe a data augmentation procedure that allows us to achieve good results with a very small amount of hand-animated training data (13-20 minutes). Extensive human judgement experiments show that our results are preferred over several competing methods, including those that only support offline (non-live) processing. Video summary and supplementary results at GitHub link: https://github.com/deepalianeja/CharacterLipSync2D

研究の動機と目的

• ライブスピークに自然に反応できる低遅延を実現し、リアルタイムで高品質なリップシンクを実現すること。
• リアルタイム処理の制約により、トランスクリプトや大きな先行読み込みが得られない状況下で、正確なビズムシーケンスを生成する課題に対処すること。
• 効果的なデータ拡張戦略の開発により、大規模な手動アノテーションデータへの依存を軽減すること。
• LSTMアーキテクチャにわずかな先行読み込みを組み込むことで、ビズム遷移のタイミングを改善し、リップシンクの知覚的品質を向上させること。
• 後処理の修正が不可能なライブパフォーマンスに耐えうる、堅牢なシステムを構築すること。

提案手法

• システムは、ストリーミング音声入力をリアルタイムに処理し、離散的ビズムシーケンスを出力するための長短期記憶（LSTM）再帰ニューラルネットワークを用いる。
• 音声特徴は、ビズム遷移に関連する発音的コンテンツを的確に捉えるように慎重に設計されており、スペクトル的および時間的特性を含む。
• ビズム遷移のタイミング精度を向上させるために、LSTMアーキテクチャにわずかな先行読み込み（数フレーム）を組み込む。
• 既存の手動アニメーションシーケンスから得た合成データに対して、データ拡張手順を適用し、有効なトレーニングデータ量を増加させつつスタイルの一貫性を維持する。
• モデルはクロスエントロピー損失を用いてトレーニングされ、音声入力に基づき各時刻に正しいビズムを予測する。
• 低遅延推論を最適化し、200ms未満の処理遅延を達成することで、ライブパフォーマンスに適した性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、最小限の遅延でストリーミング音声から正確なリアルタイムビズムシーケンスを生成できるか？
• RQ2 わずかな手動アニメーションデータを効果的に活用することで、堅牢なリップシンクモデルをトレーニングできるか？
• RQ3 わずかな先行読み込みが、ビズム遷移の知覚的品質を向上させる役割を果たすか？
• RQ4 データ拡張技術は、限られたトレーニングデータでモデルの一般化性能を著しく向上させられるか？
• RQ5 生成されたリップシンクの知覚的品質は、既存のオフラインおよびリアルタイム手法と比較してどうか？

主な発見

• 提案されたシステムは、エンドツーエンドで200ms未満の遅延を達成し、応答性の高いリアルタイムパフォーマンスを可能にする。
• 人間評価では、オフライン処理を要する手法を含む複数の競合手法よりも、本システムの結果が好まれることが確認された。
• わずか13〜20分の手動アニメーションデータで、効果的なデータ拡張と特徴工学のおかげで高品質な結果が得られた。
• LSTMアーキテクチャにわずかな先行読み込みを組み込むことで、ビズム遷移の正確性が著しく向上し、知覚的に不快な誤りが減少した。
• モデルはさまざまな2Dアニメーションスタイルにうまく一般化でき、ストップモーションや離散的ビズムを用いたレンダリング3Dアニメーションにも適用可能である。
• 広範な人間評価実験を通じて、本システムは既存の商業ツールを上回る知覚的品質を示した。