[论文解读] ABC-Net: Semi-Supervised Multimodal GAN-based Engagement Detection using an Affective, Behavioral and Cognitive Model.

Pooja Guhan, Manas Agarwal+4 more|arXiv (Cornell University)|Nov 17, 2020

Emotion and Mood Recognition参考文献 53被引用 6

一句话总结

ABC-Net 提出了一种半监督多模态 GAN 框架，整合了情感、行为和认知参与度模型，以检测视频对话中的参与度水平。通过利用这些构念的潜在表征进行到兴奋度和唤醒度的回归，其在 RECOLA 数据集上的参与度分类准确率实现了超过 5% 的相对提升，这是首个采用多模态半监督网络的此类方法。

ABSTRACT

We present ABC-Net, a novel semi-supervised multimodal GAN framework to detect engagement levels in video conversations based on psychology literature. We use three constructs: behavioral, cognitive, and affective engagement, to extract various features that can effectively capture engagement levels. We feed these features to our semi-supervised GAN network that does regression using these latent representations to obtain the corresponding valence and arousal values, which are then categorized into different levels of engagements. We demonstrate the efficiency of our network through experiments on the RECOLA database. To evaluate our method, we analyze and compare our performance on RECOLA and report a relative performance improvement of more than 5% over the baseline methods. To the best of our knowledge, our approach is the first method to classify engagement based on a multimodal semi-supervised network.

研究动机与目标

• 开发一种新颖的框架，利用多模态数据检测视频对话中的参与度水平。
• 将心理学构念——行为、认知和情感参与度——整合到统一的深度学习架构中。
• 利用半监督学习，在标注数据有限的情况下提升模型性能。
• 在真实世界参与度数据集 RECOLA 上验证所提方法的有效性。
• 建立基于 GAN 回归的多模态半监督参与度检测的新基准。

提出的方法

• ABC-Net 采用多模态 GAN 架构，联合建模从视频对话中提取的情感、行为和认知特征。
• 该模型采用半监督训练策略，利用未标注数据，增强泛化能力并减少对完全标注样本的依赖。
• 三个参与度构念的潜在表征被输入回归头，以预测连续的兴奋度和唤醒度分数。
• GAN 框架包含生成器和判别器，其中生成器学习生成逼真的参与度表征，而判别器则区分真实样本与生成样本。
• 网络通过对抗损失和回归损失端到端训练，以同时优化表征质量和参与度预测准确性。
• 通过将预测的兴奋度和唤醒度值分类为离散的参与度状态，得出参与度水平。

实验结果

研究问题

• RQ1 基于心理学构念，半监督多模态 GAN 是否能有效检测视频对话中的参与度水平？
• RQ2 情感、行为和认知特征在多大程度上促进了参与度检测性能的提升？
• RQ3 在标注数据有限的情况下，半监督学习在多大程度上提升了模型性能？
• RQ4 将心理学模型整合到 GAN 框架中是否能带来更准确、更鲁棒的参与度预测？
• RQ5 ABC-Net 在参与度分类准确率方面与现有基线方法相比表现如何？

主要发现

• ABC-Net 在 RECOLA 数据集上的相对性能提升超过基线方法的 5%。
• 情感、行为和认知参与度模型的整合显著增强了模型的预测能力。
• 半监督训练策略通过利用未标注数据，有效提升了模型性能。
• 该模型在预测兴奋度和唤醒度方面表现出稳健性，这些预测结果随后用于推断离散的参与度状态。
• 据作者所知，ABC-Net 是首个使用多模态半监督 GAN 框架对参与度进行分类的方法。
• 该框架在真实世界视频对话数据上表现出强大的泛化能力和可扩展性。