[論文レビュー] Interactive Generative Adversarial Networks for Facial Expression Generation in Dyadic Interactions

Behnaz Nojavanasghari, Yuchi Huang+1 more|arXiv (Cornell University)|Jan 27, 2018

Face recognition and analysis参考文献 38被引用数 14

ひとこと要約

本稿では、相手の感情状態を条件として、仮想エージェントの対人相互作用における時間的に滑らかで表現力のある顔の動き（表情や頭部の向き）を生成する2段階の条件付きGANフレームワークを提案する。顔の形状パラメータをモデル化するために条件付きLSTMまたは感情-形状辞書を用い、高精細な画像合成のためにスケッチから画像へのGANを採用することで、感情のダイナミクスと社会的模倣を反映した現実的で多様性に富み、リアルタイム対応可能な顔の反応を生成する。

ABSTRACT

A social interaction is a social exchange between two or more individuals,where individuals modify and adjust their behaviors in response to their interaction partners. Our social interactions are one of most fundamental aspects of our lives and can profoundly affect our mood, both positively and negatively. With growing interest in virtual reality and avatar-mediated interactions,it is desirable to make these interactions natural and human like to promote positive effect in the interactions and applications such as intelligent tutoring systems, automated interview systems and e-learning. In this paper, we propose a method to generate facial behaviors for an agent. These behaviors include facial expressions and head pose and they are generated considering the users affective state. Our models learn semantically meaningful representations of the face and generate appropriate and temporally smooth facial behaviors in dyadic interactions.

研究の動機と目的

• 仮想エージェントが、対人相互作用中に相手の感情状態に応じて自然で非言語的な顔の動き（表情や頭部の向き）を生成できるようにすること。
• 感情状態とその強度に基づいて、顔のランドマークおよび頭部の向きの動的で時間的に整合性のある変化をモデル化すること。
• 社会的模倣と感情への対応反応をサポートするリアルタイム対応で表現力に富んだ顔の生成システムを開発すること。
• 2段階のGANアーキテクチャを用いてスケッチ生成と画像合成を分離することで、生成画像の質とリアリズムを向上させること。

提案手法

• 2段階の生成フレームワークを採用：まず感情状態と潜在変数zベクトルを条件として顔のスケッチを生成し、その後そのスケッチから高精細な顔画像を生成する。
• 1人の相互作用パートナーの感情状態（例：喜び、怒り、恐怖）を表す条件付きベクトルを用いた条件付きGAN（CGAN）を採用し、顔の動きの生成をガイドする。
• 顔の形状パラメータを、学習された感情-形状辞書または条件付きLSTMを用いてモデル化し、フレーム間の滑らかな遷移を保証する。
• 剛体的および非剛体的顔の形状パラメータの学習済み分布から潜在変数zベクトルをサンプリングし、意味的に意味のある多様性を確保する。
• 2段階の訓練戦略を適用：識別器の更新1回に対して生成器を2回更新することで、訓練の安定化とモード崩壊の回避を図る。
• 畳み込み-BatchNorm-ReLUブロックを備えた残差U-Net型アーキテクチャを生成器および識別器の両方で採用し、特徴の学習と訓練の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 相手の感情状態に応じて、時間的に滑らかで意味的に整合性のある方法で顔の動き（表情や頭部の向き）をどのように生成できるか？
• RQ2 時間的ダイナミクスをモデル化する際、条件付きLSTMと感情-形状辞書の相対的な性能はどのようになるか？
• RQ3 2段階のGAN（スケッチから画像）は、潜在空間から直接画像へのマッピングを行う単一段階のGANよりも、より高品質な顔の画像を生成できるか？
• RQ4 LSTMによる履歴情報の取り入れは、非履歴的アプローチと比較して、顔の表情生成の正確さと滑らかさにどのような影響を与えるか？
• RQ5 生成された顔の動きが、対人相互作用における社会的模倣と感情への対応反応をどの程度反映できるか？

主な発見

• 感情-形状辞書アプローチは、長期間の履歴を平均化することによるフレーム間の急激な遷移を示す条件付きLSTMよりも滑らかな表情シーケンスを生成した。
• 100フレームの履歴オーバーラップを有する条件付きLSTMは、オーバーラップなしのバージョン（MSE = 0.183）と比較して低い平均二乗誤差（MSE = 0.101）を達成し、文脈記憶による予測精度の向上を示した。
• 2段階のスケッチ-画像GANは、単一段階のGANよりも顕著に高品質な顔の画像を生成した。これは、中間のスケッチ表現がアイデンティティと表情を分離する利点を示している。
• 感情-形状辞書手法は、以前のフレーム履歴を必要としないため、インタラクティブなアプリケーションに適したリアルタイム推論を可能にした。
• 条件付きLSTM手法は滑らかさに劣るが、固定された履歴からの決定論的生成のため、評価と再現が容易である。
• 本フレームワークは、下位の感情状態の意味的および強度の変化を反映した多様で表現力に富み、時間的に整合性のある顔の動きを効果的に生成した。