[論文レビュー] A Neural Virtual Anchor Synthesizer based on Seq2Seq and GAN Models

Zipeng Wang, Zhaoxiang Liu+3 more|arXiv (Cornell University)|Aug 20, 2019

Face recognition and analysis参考文献 40被引用数 4

ひとこと要約

本論文では、テキスト入力から、単語埋め込み、顔面行動単位（AU）、ポーズシーケンス（PS）を中間表現として用いることで、仮想アーカイブが話している光沢的で時間的に整合性のある顔映像を合成する、新しいSeq2SeqおよびGANベースのフレームワークを提案する。この手法により、音声と同期したリアルな口元の動きが実現され、ESPNニュース映像を用いた定性的な評価で裏付けられている。

ABSTRACT

This paper presents a novel framework to generate realistic face video of an anchor, who is reading certain news. This task is also known as Virtual Anchor. Given some paragraphs of words, we first utilize a pretrained Word2Vec model to embed each word into a vector; then we utilize a Seq2Seq-based model to translate these word embeddings into action units and head poses of the target anchor; these action units and head poses will be concatenated with facial landmarks as well as the former $n$ synthesized frames, and the concatenation serves as input of a Pix2PixHD-based model to synthesize realistic facial images for the virtual anchor. The experimental results demonstrate our framework is feasible for the synthesis of virtual anchor.

研究の動機と目的

• 入力テキストを読み上げる仮想アーカイブの、光沢的で時間的に一貫性のある顔映像を生成し、顔の動きが話された内容と一致することを保証する。
• 3次元顔モデルの複雑さを回避するため、中間表現（AU+PSおよびFLM）を用いてテキストと画像生成を橋渡しする。
• GANベースの画像生成と系列モデルを組み合わせることで、時間的整合性を高め、合成の忠実度を向上させる。
• 軽量で3次元ベースでない手法を用いて、エンドツーエンドのテキストから映像への合成の可能性を示す。

提案手法

• 入力テキストを200次元のベクトルに単語埋め込み（Word2Vec）で表現し、系列表現を実現する。
• LSTMを用いたSeq2Seqモデルが、単語埋め込みを、17次元の行動単位（AU）と3次元のヘッドポーズ（PS）を含む20次元のAU+PSシーケンスに翻訳する。
• AU+PSシーケンスは、平均顔面特徴点（FLM）および直前のnフレームの合成画像と連結され、マルチモーダルな入力が形成される。
• 変更されたPix2PixHDジェネレータが、この連結入力を用いて、敵対的損失、特徴マッチング損失、および知覚的損失を伴い、現実的な顔画像を合成する。
• ディスクラミネータは、生成画像と実際の画像シーケンスの両方の現実性と時間的整合性を評価する。
• 統合損失関数には、敵対的損失、特徴マッチング損失、およびVGGベースの知覚的損失が含まれ、画像品質と一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seqモデルは、リアルな仮想アーカイブのアニメーションを実現するため、テキスト埋め込みから顔面行動単位とポーズシーケンスへの効果的なマッピングを可能にするか？
• RQ2 AU+PSに加え、平均顔面特徴点と直前のフレームを組み合わせることで、生成された顔映像のリアリズムと時間的整合性が向上するか？
• RQ3 GANベースの画像生成フレームワークは、入力テキストの言語的コンテンツと顔のダイナミクスに一致する光沢的で現実的な顔画像を生成できるか？
• RQ4 本手法は、既存の3次元ベースの手法や直接的な画像対画像変換手法と比較して、視覚的忠実度と同期性の面で優れているか？

主な発見

• 定性的な結果により、口元の動きが入力テキストと同期した、光沢的で現実的な顔映像の生成に成功した。
• AU+PSを中間表現として用いることで、3次元顔モデルを必要とせずに正確な顔の動き予測が可能になった。
• 平均顔面特徴点と直前のフレームを組み込むことで、学習の安定性が向上し、生成シーケンスの空間的・時間的整合性が強化された。
• 敵対的損失、特徴マッチング損失、知覚的損失の組み合わせにより、現実的なテクスチャと表情を有する高忠実度の画像合成が実現された。
• フレーム間で一貫した顔のダイナミクスが得られ、動きの遷移に最小限のアーチファクトや不整合が生じなかった。