[论文解读] Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation

Tong Xu, Micol Spitale+4 more|arXiv (Cornell University)|May 24, 2023

Emotion and Mood Recognition被引用 5

一句话总结

本文提出了一种新颖的深度学习框架，通过将一对一映射的训练策略重构为基于面部反应分布学习的一对一映射，解决了单个说话者行为生成多个合适、逼真且同步的面部反应的挑战。该框架引入了一种可逆多维边图神经网络（REGNN），用于建模和解码合适的面部反应分布，在合适性、逼真度和同步性方面显著优于现有方法。

ABSTRACT

Generating facial reactions in a human-human dyadic interaction is complex and highly dependent on the context since more than one facial reactions can be appropriate for the speaker's behaviour. This has challenged existing machine learning (ML) methods, whose training strategies enforce models to reproduce a specific (not multiple) facial reaction from each input speaker behaviour. This paper proposes the first multiple appropriate facial reaction generation framework that re-formulates the one-to-many mapping facial reaction generation problem as a one-to-one mapping problem. This means that we approach this problem by considering the generation of a distribution of the listener's appropriate facial reactions instead of multiple different appropriate facial reactions, i.e., 'many' appropriate facial reaction labels are summarised as 'one' distribution label during training. Our model consists of a perceptual processor, a cognitive processor, and a motor processor. The motor processor is implemented with a novel Reversible Multi-dimensional Edge Graph Neural Network (REGNN). This allows us to obtain a distribution of appropriate real facial reactions during the training process, enabling the cognitive processor to be trained to predict the appropriate facial reaction distribution. At the inference stage, the REGNN decodes an appropriate facial reaction by using this distribution as input. Experimental results demonstrate that our approach outperforms existing models in generating more appropriate, realistic, and synchronized facial reactions. The improved performance is largely attributed to the proposed appropriate facial reaction distribution learning strategy and the use of a REGNN. The code is available at https://github.com/TongXu-05/REGNN-Multiple-Appropriate-Facial-Reaction-Generation.

研究动机与目标

• 解决现有模型因采用一对一映射训练策略而无法处理单个说话者行为生成多个合适面部反应的挑战。
• 通过学习合适反应的分布而非单个反应，将面部反应生成的一对多问题重构为一对一映射问题。
• 设计一种新型可逆图神经网络（REGNN），实现从预测分布端到端训练和解码多样且逼真的面部反应。
• 通过认知处理器预测反应分布，以及通过运动处理器解码反应，提升生成面部反应的逼真度、同步性和合适性。
• 在基准数据集上验证所提框架的有效性，证明其在关键评估指标上优于现有基线模型。

提出的方法

• 该框架由三个模块组成：编码说话者音频和面部信号的感知处理器、预测合适面部反应分布的认知处理器，以及基于可逆多维边图神经网络（REGNN）的运动处理器。
• 运动处理器采用一种新型可逆图神经网络（REGNN），能够从预测分布中解码出单个面部反应，实现对图结构面部数据的可微分且可逆的处理。
• 面部反应分布被建模为多维边特征上的高斯混合分布（GMD），以捕捉面部属性之间的任务特定关系。
• 模型通过结合L1损失、Fréchet反应距离（FRD）和感知相似性的多任务损失进行训练，其中认知处理器预测分布，REGNN从该分布解码出一个反应。
• REGNN利用多维边特征编码面部关键点之间的复杂关系，实现更具表现力和上下文感知的反应生成。
• 该框架引入一种新型多维边特征学习（MEFL）模块，用于生成全面表征面部属性关系的边特征，以提升建模能力。

Figure 1: Our approach predicts an distribution representing multiple different but appropriate facial reactions from each input speaker behaviour, based on which multiple different but appropriate, realistic, and synchronized human listener facial reactions could be generated.

实验结果

研究问题

• RQ1 深度学习框架能否为单个说话者行为生成多个多样化但合适的面部反应，而非强制每个输入仅生成单一反应？
• RQ2 如何通过分布学习将面部反应生成中的一对多映射问题重构为一对一映射问题？
• RQ3 与标准图神经网络相比，可逆图神经网络（REGNN）在多大程度上提升了生成面部反应的质量和多样性？
• RQ4 不同超参数（如边维度、REGNN层数量和分布方差）对面部反应生成模型性能的影响如何？
• RQ5 音频和面部信号在预测合适面部反应分布中的贡献分别是什么？

主要发现

• 所提框架在所有关键指标上均优于四个基线模型，在合适性（FRDvs: 0.72）、逼真度（0.78）和同步性（0.75）方面取得最高分，显著优于现有方法。
• 当分布方差（σ）低于0.1时，合适性、逼真度和同步性表现保持稳定且具有前景，最优性能出现在σ ≈ 0.6附近。
• 在边特征维度D = 6时模型达到峰值性能，此时FRDvs、逼真度和同步性指标均达到最大值且波动最小。
• REGNN层数对性能影响极小：当层数为4–10时，CCC和PCC变化小于0.02，FRDvs和FRDiv变化低于0.01，表明模型具有高度鲁棒性。
• 在八项指标中的五项中，六层REGNN取得最佳结果，且在FRDvs和逼真度上位列第二，确认其为最优配置。
• MEFL模块对性能至关重要，因为多维边特征能够全面建模面部属性间的关系，显著提升反应质量。

Figure 2: Overview of the proposed multiple appropriate facial reaction generation framework. Step 1: the Perceptual Processor first encodes facial and audio representations from the perceived audio-visual speaker behaviours. Step 2: the Cognitive Processor then predicts a distribution from the comb