[論文レビュー] You said that

Joon Son Chung, Amir Jamaludin+1 more|arXiv (Cornell University)|May 8, 2017

Face recognition and analysis参考文献 28被引用数 55

ひとこと要約

本論文では、ラベルなしの動画データで訓練されたCNNベースのエンコーダ・デコーダアーキテクチャを用い、顔と音声の統合埋め込みを用いて、1枚の画像と音声クリップから高精細な会話する顔の動画をリアルタイムでエンドツーエンドの深層学習手法で生成する手法を提案する。モデルは未学習の顔や音声に対しても一般化可能であり、ゼロショット推論が可能で、異なる話者によるリダブビングにも成功する。

ABSTRACT

We present a method for generating a video of a talking face. The method takes as inputs: (i) still images of the target face, and (ii) an audio speech segment; and outputs a video of the target face lip synched with the audio. The method runs in real time and is applicable to faces and audio not seen at training time. To achieve this we propose an encoder-decoder CNN model that uses a joint embedding of the face and audio to generate synthesised talking face video frames. The model is trained on tens of hours of unlabelled videos. We also show results of re-dubbing videos using speech from a different person.

研究の動機と目的

• 1枚の画像と音声入力からリアルな会話する顔の動画を生成する手法の開発。
• 新しい顔や音声に対して再訓練を必要とせず、リアルタイム推論を可能にする。
• トレーニング中に存在しなかった未学習の顔や発話に対してもゼロショット一般化を達成する。
• 既存の動画を異なる話者からの発話を用いてリダブビングする可能性を実証する。

提案手法

• 畳み込みニューラルネットワーク（CNN）のエンコーダ・デコーダアーキテクチャを用いて、入力の顔画像と音声セグメントから動画フレームを生成する。
• 顔の外見と音声特徴を同時に符号化する統合埋め込み空間を採用し、口の動きを発話と同期させる。
• 数十時間にわたるラベルなし動画データで訓練を行い、顔のランドマークや音声・テキストのアライメントを明示的に必要としない自己教師あり学習を可能にする。
• 軽量で効率的なアーキテクチャを設計し、コンsumerハードウェアでもリアルタイム推論を実現する。
• 生成されたフレーム間でアイデンティティと顔の詳細を保持するため、コンテンツに特化した損失関数を用いる。
• 音声特徴は専用のフロントエンドで抽出され、統合埋め込みがデコーダを駆動し、アイデンティティを保ちつつリップシンクされたフレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像と音声駆動の会話する顔の動画生成モデルは、新しいアイデンティティに対して再訓練を必要とせず、リアルタイム推論を達成できるか？
• RQ2 トレーニング中に見られなかった顔や発話入力に対し、モデルはどの程度一般化できるか？
• RQ3 リアルなリップムーブメントを生成する際、アイデンティティと顔の詳細をどの程度保持できるか？
• RQ4 モデルは、既存の動画に対して、異なる話者からの発話を用いて成功裏にリダブビングできるか？

主な発見

• トレーニング中に見られなかった顔や音声に対しても、リアルタイムで高精細な会話する顔の動画を生成できる。
• 新しいアイデンティティに微調整を必要とせず、優れた視覚的品質と正確なリップシンクを達成する。
• 未学習の話者や顔のアイデンティティに対しても効果的に一般化され、ゼロショット能力が実証された。
• リダブビング実験により、既存の動画の発話を異なる話者からの音声に成功裏に置き換えられ、顔のアイデンティティとリップシンクを保持していることが確認された。