[論文レビュー] Lip Movements Generation at a Glance

Lele Chen, Zhiheng Li+3 more|arXiv (Cornell University)|Mar 28, 2018

Speech and Audio Processing参考文献 26被引用数 3

ひとこと要約

本論文は、1枚のターゲットアイデンティティ画像と任意のスピーチ音声から、現実的でアイデンティティを保持する唇の動きを生成する、エンドツーエンドの深層学習フレームワークを提案する。音声と画像の埋め込みを統合し、新たな音声視覚相関損失を導入することで、時間的整合性が高く、写真のようにリアルで、アイデンティティの忠実度が保たれた16フレームの唇の動きシーケンスを生成する。GRID、LDC、LRWのデータセットにおいて、定量的および定性的な評価の両面で、最先端の手法を上回る性能を発揮する。

ABSTRACT

Cross-modality generation is an emerging topic that aims to synthesize data in one modality based on information in a different modality. In this paper, we consider a task of such: given an arbitrary audio speech and one lip image of arbitrary target identity, generate synthesized lip movements of the target identity saying the speech. To perform well in this task, it inevitably requires a model to not only consider the retention of target identity, photo-realistic of synthesized images, consistency and smoothness of lip images in a sequence, but more importantly, learn the correlations between audio speech and lip movements. To solve the collective problems, we explore the best modeling of the audio-visual correlations in building and training a lip-movement generator network. Specifically, we devise a method to fuse audio and image embeddings to generate multiple lip images at once and propose a novel correlation loss to synchronize lip changes and speech changes. Our final model utilizes a combination of four losses for a comprehensive consideration in generating lip movements; it is trained in an end-to-end fashion and is robust to lip shapes, view angles and different facial characteristics. Thoughtful experiments on three datasets ranging from lab-recorded to lips in-the-wild show that our model significantly outperforms other state-of-the-art methods extended to this task.

研究の動機と目的

• トレーニング中にターゲットの動画フレームを必要とせず、1枚の参照画像と任意のスピーチ音声のみを用いて、高精細な唇の動きを生成すること。
• 異なるアイデンティティ間で、音声の話法と唇の動きの複雑な時間的相関をモデル化すること。
• 生成された唇の動きシーケンスが、時間的に整合的で、写真のようにリアルであり、ヒゲや唇の形状といったアイデンティティ固有の特徴を保持していることを保証すること。
• 視覚的アングル、顔の特徴、および唇の幾何学的形状の変動に対して頑健なトレーニングフレームワークを開発すること。
• GRID、LDC、LRWなど多様なデータセット、特にリアルな状況（in-the-wild）を含む環境において、定量的指標と定性的なリアリズムの両面で、既存手法を上回ること。

提案手法

• モデルは、時系列の音声埋め込みと1枚の画像によるアイデンティティ埋め込みを統合し、1回の順伝播で16フレームの連続する唇のフレームを生成する生成器ネットワークを用いる。
• 唇の動きの変化を音声信号の変化と同期させるために、新たな音声視覚相関損失を導入し、時間的整合性を向上させる。
• 4つの損失を組み合わせた目的関数を採用：再構成損失（ピクセルレベル）、特徴空間損失（知覚的類似性）、3ストリームの adversarial 損失（画像品質と動きの質）、および提案された音声視覚相関損失。
• 識別器は3ストリーム構造を採用し、画像品質、動きの滑らかさ、音声視覚同期性を同時に評価する。
• モデル全体をエンドツーエンドで訓練することで、アイデンティティ保持、視覚的品質、音声視覚同期性の共同最適化を実現する。
• 分離された埋め込みとマルチ損失学習のおかげで、ヒゲなどの顔の特徴、唇の形状、視覚的アングルの変動に対しても頑健である。

実験結果

リサーチクエスチョン

• RQ1 1枚の参照画像に基づく唇の動き生成モデルは、トレーニングにターゲットの動画フレームを必要とせず、高いアイデンティティ忠実度と時間的整合性を達成できるか？
• RQ2 エンドツーエンドのトレーニング中に、音声視覚相関を効果的にモデル化・強制することで、唇と音声の同期性をどのように向上させられるか？
• RQ3 限定的なデータで学習したモデルが、未観測のアイデンティティやリアルな状況（in-the-wild）にどの程度一般化できるか？
• RQ4 唇の動き生成において、写真的リアリズム、動きの滑らかさ、音声視覚同期性を最もよくバランスさせる損失の組み合わせは何か？
• RQ5 低解像度の入力や未確認の顔の特徴があるような困難な条件下で、モデルの性能はどの程度か？

主な発見

• 提案手法は、GRID、LDC、LRWの3つのデータセットにおいて、LMD、PSNR、SSIM、CPBDといった複数の指標で、最先端の手法を顕著に上回る性能を発揮した。
• ランドマーク距離（LMD）とPSNRの両面で最高の性能を達成し、再構成損失や標準的なGANのみを用いた手法と比較して、優れた同期性とピクセルレベルの正確性を示した。
• CPBD指標から、LRWデータセットにおいて、生成画像が実際の正解よりもシャープであることが示された。これは、モデルが低解像度の入力を効果的に強化できる能力があるためと推測される。
• 定性的な結果から、トレーニング時に未見のターゲットアイデンティティであっても、ヒゲや顔の非対称性といった特徴を明確に保持する能力が確認された。
• より大きなLRWデータセットで学習したモデルは、GRIDで学習したモデルよりも、未確認の人物のアイデンティティ情報をよりよく保持していた。
• 強力な性能を発揮しているものの、皮膚色の正確な再現に失敗することが時折あり、これはLRWデータセットにおけるデータの不均衡が原因である可能性がある。