[论文解读] GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation

Zheng Lian, Lan Chen+3 more|arXiv (Cornell University)|Mar 4, 2022

Topic Modeling被引用 7

一句话总结

GCNet 是一种用于不完整多模态对话理解的新型图神经网络框架，通过两个专用的图神经网络模块——说话人 GNN 和时间 GNN——联合建模说话人和时间依赖关系，同时端到端优化分类和多模态重建任务。在不同缺失模态条件下，该方法在三个基准数据集上均取得了最先进性能。

ABSTRACT

Conversations have become a critical data format on social media platforms. Understanding conversation from emotion, content and other aspects also attracts increasing attention from researchers due to its widespread application in human-computer interaction. In real-world environments, we often encounter the problem of incomplete modalities, which has become a core issue of conversation understanding. To address this problem, researchers propose various methods. However, existing approaches are mainly designed for individual utterances rather than conversational data, which cannot fully exploit temporal and speaker information in conversations. To this end, we propose a novel framework for incomplete multimodal learning in conversations, called "Graph Complete Network (GCNet)", filling the gap of existing works. Our GCNet contains two well-designed graph neural network-based modules, "Speaker GNN" and "Temporal GNN", to capture temporal and speaker dependencies. To make full use of complete and incomplete data, we jointly optimize classification and reconstruction tasks in an end-to-end manner. To verify the effectiveness of our method, we conduct experiments on three benchmark conversational datasets. Experimental results demonstrate that our GCNet is superior to existing state-of-the-art approaches in incomplete multimodal learning. Code is available at https://github.com/zeroQiaoba/GCNet.

研究动机与目标

• 解决现有方法多集中于单一句子或医学影像，缺乏专门针对对话数据中不完整多模态学习的建模方法的问题。
• 利用对话中的时间依赖和说话人特异性依赖，在模态缺失条件下提升表征学习能力。
• 构建一个统一框架，联合优化分类和多模态重建任务，以增强在不完整数据上的鲁棒性和泛化能力。
• 通过聚焦具有真实缺失模式的对话数据，弥补多模态学习在实际应用中的差距，而非局限于孤立的句子或临床影像。

提出的方法

• 通过随机丢弃多模态输入（文本、语音、视频）中的特征，模拟真实世界中的模态缺失，以构建不完整数据。
• 利用共享边但不同边类型，构建两个独立的图结构——说话人 GNN 和时间 GNN，分别用于建模说话人身份和顺序关系。
• 使用图神经网络编码说话人和时间依赖关系，捕捉对话中的长距离上下文关联。
• 联合优化两个目标：多模态分类和模态重建，实现从不完整数据中的端到端学习。
• 固定上下文窗口大小以限制图的稀疏性并控制计算复杂度，同时调整超参数以避免过拟合。
• 应用 t-SNE 可视化和收敛性分析，以解释学习到的表征并验证训练稳定性。

实验结果

研究问题

• RQ1 联合优化分类和重建任务是否能提升不完整多模态对话学习的性能？
• RQ2 说话人和时间依赖在模态缺失的对话中，对表征学习的增强程度如何？
• RQ3 在不同对话数据集和变化的缺失率下，GCNet 与当前最先进方法相比表现如何？
• RQ4 各个组件（如说话人 GNN、时间 GNN）对模型整体性能的影响是什么？
• RQ5 上下文窗口大小和特征维度等超参数如何影响模型的泛化能力和性能表现？

主要发现

• GCNet 在三个基准对话数据集（IEMOCAP、DailyDialog 和 MELD）上，所有测试的缺失率下均取得了最先进性能。
• 该模型在高缺失率条件下仍表现出卓越的分类准确率和重建质量，显著优于现有最先进方法。
• 收敛性分析表明，分类损失和重建损失曲线同步下降并趋于稳定，表明两个任务之间具有强泛化能力与相关性。
• t-SNE 可视化结果证实，与基线方法相比，GCNet 学习到的表征更具解耦性且类别分离更清晰，且在训练过程中聚类效果持续改善。
• 消融实验验证了说话人 GNN 和时间 GNN 的必要性，当任一模块被移除时，性能出现显著下降。
• 超参数调优结果表明，适度的上下文窗口大小和特征维度可实现最优性能，在保持表征能力的同时避免过拟合。