[論文レビュー] A Realistic Face-to-Face Conversation System based on Deep Neural Networks

Zezhou Chen, Zhaoxiang Liu+5 more|arXiv (Cornell University)|Aug 21, 2019

Face recognition and analysis参考文献 42被引用数 5

ひとこと要約

本稿では、ESPNの動画データから顔の動きの単位と頭の向きを学習することで、リアルな顔の反応を生成する深層学習ベースの双方向会話システムを提案する。このシステムは、聞く側と話す側の両方のシーケンス・ツー・シーケンス（Seq2Seq）モデルと、GANベースのピクセル単位のアバター合成器を用い、3Dモデル駆動のベースラインを上回る顔のリアリズムと時間的整合性を達成する。

ABSTRACT

To improve the experiences of face-to-face conversation with avatar, this paper presents a novel conversation system. It is composed of two sequence-to-sequence models respectively for listening and speaking and a Generative Adversarial Network (GAN) based realistic avatar synthesizer. The models exploit the facial action and head pose to learn natural human reactions. Based on the models' output, the synthesizer uses the Pixel2Pixel model to generate realistic facial images. To show the improvement of our system, we use a 3D model based avatar driving scheme as a reference. We train and evaluate our neural networks with the data from ESPN shows. Experimental results show that our conversation system can generate natural facial reactions and realistic facial images.

研究の動機と目的

• 双方向会話における仮想アシスタントの自然な非言語的フィードバックの欠如に対処すること。
• 会話における話す側と聞く側の役割の自然な入れ替えをモデル化すること。
• 3Dデータやモーショングラップ技術を必要とせず、深層ニューラルネットワークを用いて生々しい顔の表情と頭部の動きを生成すること。
• 音声と非言語的サインからリアルなアバター画像を合成するエンドツーエンドのシステムを開発すること。

提案手法

• システムは、聞く側（話者のサインから聞く側の顔の動きと頭の向きを予測）と話す側（発話の応答から話者の顔の動きと頭の向きを予測）の2つの独立したシーケンス・ツー・シーケンス（Seq2Seq）モデルを用いる。
• 顔の動きの単位と頭の向きは、入力動画フレームから抽出された非言語的特徴として、Seq2Seqモデルの入力および出力として使用される。
• Pix2PixベースのGANを用いて、予測された顔の動きの単位と頭の向きから高精細でリアルな顔の画像を生成する。
• システムはESPNの番組動画データを用いて訓練および評価され、聞く段階と話す段階の両方で特徴表現を向上させるためにメトリクス学習が適用される。
• アバター合成器は、生成出力から顔の特徴を再構築し、顔の動きの単位と頭の向きについてL1損失を用いて真値と比較する。

実験結果

リサーチクエスチョン

• RQ1 深層学習システムは、双方向会話中のアバターに対して自然でリアルな顔の反応を生成できるか？
• RQ2 シーケンス・ツー・シーケンスモデルは、音声と聞く側のサインから非言語的行動（顔の動きと頭の向き）を効果的に予測できるか？
• RQ3 GANベースの画像合成手法は、従来の3Dモデル駆動のアプローチよりもよりリアルなアバター画像を生成できるか？
• RQ4 提案手法は、顔のリアリズムと時間的整合性の観点でベースライン手法を上回るか？

主な発見

• 聞く段階では、MSE（0.0540）が低く、コサイン類似度（0.992）が高いという点で、ベースライン（MSE: 0.0565、コサイン類似度: 0.983）を上回った。
• 話す段階では、MSEが0.141（ベースライン：0.195）で顕著に優れており、コサイン類似度も0.980（ベースライン：0.9635）であった。
• アバター合成器は、聞く段階で顔の動きの単位の再構築誤差が0.046、頭の向きが0.038であり、話す段階ではそれぞれ0.105と0.073であった。
• 視覚的比較では、生成されたアバター画像が3Dモデルベースのアバターよりもリアルで真値に近いことが示された。
• 顔の動きの変化が顕著に現れる話す段階において、性能が向上したことは、複雑な非言語的パターンの学習に本手法のメトリクス学習が有効であることを示している。