[論文レビュー] Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation

Tong Xu, Micol Spitale+4 more|arXiv (Cornell University)|May 24, 2023

Emotion and Mood Recognition被引用数 5

ひとこと要約

本論文は、1人の話者の行動に対して複数の適切で現実的かつ同期的な顔の反応を生成するための新しい深層学習フレームワークを提案する。これは、顔の反応の1対多マッピング問題を、顔の反応分布学習によって1対1マッピングに再定式化することで実現する。顔の反応の分布をモデル化・復号化するための可逆的多次元エッジグラフニューラルネットワーク（REGNN）を導入し、従来手法に比べて適切さ、現実性、同期性の面で顕著な性能向上を達成する。

ABSTRACT

Generating facial reactions in a human-human dyadic interaction is complex and highly dependent on the context since more than one facial reactions can be appropriate for the speaker's behaviour. This has challenged existing machine learning (ML) methods, whose training strategies enforce models to reproduce a specific (not multiple) facial reaction from each input speaker behaviour. This paper proposes the first multiple appropriate facial reaction generation framework that re-formulates the one-to-many mapping facial reaction generation problem as a one-to-one mapping problem. This means that we approach this problem by considering the generation of a distribution of the listener's appropriate facial reactions instead of multiple different appropriate facial reactions, i.e., 'many' appropriate facial reaction labels are summarised as 'one' distribution label during training. Our model consists of a perceptual processor, a cognitive processor, and a motor processor. The motor processor is implemented with a novel Reversible Multi-dimensional Edge Graph Neural Network (REGNN). This allows us to obtain a distribution of appropriate real facial reactions during the training process, enabling the cognitive processor to be trained to predict the appropriate facial reaction distribution. At the inference stage, the REGNN decodes an appropriate facial reaction by using this distribution as input. Experimental results demonstrate that our approach outperforms existing models in generating more appropriate, realistic, and synchronized facial reactions. The improved performance is largely attributed to the proposed appropriate facial reaction distribution learning strategy and the use of a REGNN. The code is available at https://github.com/TongXu-05/REGNN-Multiple-Appropriate-Facial-Reaction-Generation.

研究の動機と目的

• 1つの話者の行動に対して複数の適切な顔の反応を生成する課題に取り組むこと。これは、従来のモデルが1対1マッピングの学習戦略を採用しているため、そのような対応が不十分である。
• 個々の反応を学習するのではなく、適切な反応の分布を学習することで、顔の反応生成の1対多マッピング問題を1対1マッピング問題に再定式化すること。
• 予測された分布から多様で現実的な顔の反応をエンドツーエンドで学習・復号化できる、新しい可逆的グラフニューラルネットワーク（REGNN）を設計すること。
• 認知プロセッサが反応の分布を予測し、運動プロセッサがそれを復号することで、生成された顔の反応の現実性、同期性、適切さを向上させること。
• ベンチマークデータセット上で提案フレームワークの有効性を検証し、主な評価指標において従来のベースラインを上回る優れた性能を示すこと。

提案手法

• フレームワークは3つのモジュールから構成される：話者の音声および顔の信号を符号化する知覚プロセッサ、適切な顔の反応の分布を予測する認知プロセッサ、可逆的多次元エッジグラフニューラルネットワーク（REGNN）に基づく運動プロセッサ。
• 運動プロセッサは、予測された分布から1つの顔の反応を復号化できる新しい可逆的GNN（REGNN）を採用しており、グラフ構造の顔データに対する微分可能かつ可逆な処理を可能にする。
• 顔の反応分布は、顔の属性間のタスク固有の関係を捉えるために、多次元エッジ特徴量上のガウス・ミクスチャ・ディストリビューション（GMD）としてモデル化される。
• 認知プロセッサが分布を予測し、REGNNがそれを復号して反応を生成する。学習にはL1損失、Fréchet Reaction Distance（FRD）、および知覚的類似性を組み合わせたマルチタスク損失が用いられる。
• REGNNは多次元エッジ特徴量を用いて、顔のランドマーク間の複雑な関係を符号化し、表現力豊かで文脈に適した反応生成を可能にする。
• 顔の属性関係を包括的に表現するための新しい多次元エッジ特徴量学習（MEFL）モジュールを導入し、顔の属性関係のモデリングを向上させる。

Figure 1: Our approach predicts an distribution representing multiple different but appropriate facial reactions from each input speaker behaviour, based on which multiple different but appropriate, realistic, and synchronized human listener facial reactions could be generated.

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、1つの話者の行動に対して、単一の反応に強制されるのではなく、多様かつ適切な複数の顔の反応を生成できるか？
• RQ2 分布学習を用いることで、顔の反応生成における1対多マッピング問題をどのように1対1マッピング問題に再構造化できるか？
• RQ3 可逆的グラフニューラルネットワーク（REGNN）は、標準的なGNNと比較して、生成された顔の反応の質と多様性をどの程度向上させるか？
• RQ4 エッジ次元、REGNNレイヤー数、分布の分散といった異なるハイパーパrameterが、顔の反応生成モデルの性能にどのように影響するか？
• RQ5 音声信号と顔の信号は、適切な顔の反応分布を予測するために、それぞれどの程度の寄与をしているか？

主な発見

• 提案フレームワークは、4つのベースラインモデルをすべて上回る性能を達成し、適切さ（FRDvs: 0.72）、現実性（0.78）、同期性（0.75）の各指標で最高スコアを記録し、従来手法に比べ顕著な向上を示した。
• 分布の分散（σ）を0.1未満に設定した場合、適切さ、現実性、同期性の性能が安定的かつ有望な水準を維持し、σ ≈ 0.6付近で最適性能が観察された。
• エッジ特徴量次元D = 6でピーク性能を達成し、FRDvs、現実性、同期性の指標が最大値に達し、変動も最小限に抑えられた。
• REGNNレイヤー数の変更が性能に与える影響は最小限である。4～10層の範囲では、CCCとPCCの変動が0.02未満、FRDvsとFRDivの変化も0.01未塔であり、高いロバスト性を示した。
• 6層のREGNNを用いた場合、8つの指標のうち5つで最高成績を記録し、FRDvsと現実性でも2番目の成績を達成した。これにより、最適な構成であることが確認された。
• MEFLモジュールは性能に不可欠であり、多次元エッジ特徴量が顔の属性関係を包括的にモデリング可能にし、反応の質を顕著に向上させた。

Figure 2: Overview of the proposed multiple appropriate facial reaction generation framework. Step 1: the Perceptual Processor first encodes facial and audio representations from the perceived audio-visual speaker behaviours. Step 2: the Cognitive Processor then predicts a distribution from the comb