[论文解读] Learnable Graph Inception Network for Emotion Recognition.

Amir Shirian, Subarna Tripathi+1 more|arXiv (Cornell University)|Aug 6, 2020

Emotion and Mood Recognition参考文献 40被引用 4

一句话总结

本文提出了一种可学习图Inception网络（L-GrIN），这是一种新颖的深度学习框架，能够联合学习最优图结构，并从动态多模态数据（视频、音频、动作捕捉）中实现端到端的情感识别。通过整合可学习的邻接矩阵、图Inception层以及可微池化操作，L-GrIN在涵盖面部表情、语音和身体动作的四个基准数据库上均实现了最先进性能。

ABSTRACT

Analyzing emotion from verbal and non-verbal behavioral cues is critical for many intelligent human-centric systems. The emotional cues can be captured using audio, video, motion-capture (mocap) or other modalities. We propose a generalized graph approach to emotion recognition that can take any time-varying (dynamic) data modality as input. To alleviate the problem of optimal graph construction, we cast this as a joint graph learning and classification task. To this end, we present the \emph{Learnable Graph Inception Network} (L-GrIN) that jointly learns to recognize emotion and to identify the underlying graph structure in data. Our architecture comprises multiple novel components: a new graph convolution operation, a graph inception layer, learnable adjacency, and a learnable pooling function that yields a graph-level embedding. We evaluate the proposed architecture on four benchmark emotion recognition databases spanning three different modalities (video, audio, mocap), where each database captures one of the following emotional cues: facial expressions, speech and body gestures. We achieve state-of-the-art performance on all databases outperforming several competitive baselines and relevant existing methods.

研究动机与目标

• 解决从动态行为数据中进行情感识别时最优图构建的挑战。
• 将图学习与情感分类统一为一个端到端可训练的框架。
• 实现对视频、音频和动作捕捉数据等多样化时变模态的有效表征学习。
• 通过联合优化图结构与分类，提升多模态情感识别性能。

提出的方法

• 提出一种新型图卷积操作，可动态适应所学习的图结构。
• 引入图Inception层，以在所学习的图上聚合多个感受野的特征。
• 采用在训练过程中优化的可学习邻接矩阵，以反映数据中的有意义关系。
• 集成可微图池化函数，生成用于分类的全局图级嵌入。
• 设计一种端到端架构，联合优化图结构学习与情感分类。
• 通过将时间序列建模为动态图，支持多种动态模态（视频、音频、动作捕捉）。

实验结果

研究问题

• RQ1 联合学习图结构与情感分类是否能提升多模态情感识别的性能？
• RQ2 可学习邻接矩阵在捕捉多样化模态中的相关情感线索方面有多有效？
• RQ3 与标准图卷积相比，图Inception模块在增强特征表征方面有多大程度的提升？
• RQ4 可微池化机制如何促进情感分类的鲁棒图级嵌入？
• RQ5 所提出的框架在面部表情、语音和身体动作等不同模态之间是否具备良好的泛化能力？

主要发现

• L-GrIN在所有四个基准情感识别数据库上均实现了最先进性能，优于现有方法。
• 图学习与分类的联合优化产生了比固定或手工设计图结构更具判别性的表征。
• 可学习邻接矩阵通过适应模态特定的情感动态，显著提升了性能。
• 图Inception层通过捕捉数据中的多尺度依赖关系，增强了特征学习。
• 可微池化机制有效将节点级特征聚合为紧凑且信息丰富的图级嵌入。
• 该框架在包括视频、音频和动作捕捉数据在内的多样化模态上表现出良好的泛化能力，展现出鲁棒性与通用性。