[论文解读] Integrating Multimodal Information in Large Pretrained Transformers

Wasifur Rahman, Md. Kamrul Hasan+5 more|arXiv (Cornell University)|Aug 15, 2019

Topic Modeling参考文献 28被引用 9

一句话总结

本文提出多模态适配门（MAG），一种轻量级模块，使 BERT 和 XLNet 在微调过程中无需修改其核心架构即可整合视觉和听觉模态。MAG 基于非语言线索动态调整模型的内部表征，在多模态情感分析任务上实现最先进性能，包括在 CMU-MOSI 数据集上实现人类水平表现（MAG-XLNet）。

ABSTRACT

Recent Transformer-based contextual word representations, including BERT and XLNet, have shown state-of-the-art performance in multiple disciplines within NLP. Fine-tuning the trained contextual models on task-specific datasets has been the key to achieving superior performance downstream. While fine-tuning these pre-trained models is straightforward for lexical applications (applications with only language modality), it is not trivial for multimodal language (a growing area in NLP focused on modeling face-to-face communication). Pre-trained models don't have the necessary components to accept two extra modalities of vision and acoustic. In this paper, we proposed an attachment to BERT and XLNet called Multimodal Adaptation Gate (MAG). MAG allows BERT and XLNet to accept multimodal nonverbal data during fine-tuning. It does so by generating a shift to internal representation of BERT and XLNet; a shift that is conditioned on the visual and acoustic modalities. In our experiments, we study the commonly used CMU-MOSI and CMU-MOSEI datasets for multimodal sentiment analysis. Fine-tuning MAG-BERT and MAG-XLNet significantly boosts the sentiment analysis performance over previous baselines as well as language-only fine-tuning of BERT and XLNet. On the CMU-MOSI dataset, MAG-XLNet achieves human-level multimodal sentiment analysis performance for the first time in the NLP community.

研究动机与目标

• 使 BERT 和 XLNet 等大型预训练 Transformer 模型在多模态语言任务微调过程中有效整合视觉和听觉模态。
• 解决将仅语言的预训练模型适配到多模态输入而无需架构修改的挑战。
• 开发一种最小化、高效且有效的融合机制，在保留预训练模型结构的同时实现多模态适配。
• 在多模态情感分析基准上实现卓越性能，特别是在 CMU-MOSI 和 CMU-MOSEI 上。
• 证明使用 MAG 进行微调相比仅语言微调和外部融合方法可带来显著性能提升。

提出的方法

• 提出多模态适配门（MAG），一种可学习模块，从视觉和听觉特征生成上下文相关的适配向量。
• MAG 使用多头注意力机制计算视觉和听觉特征的加权融合，生成由非语言信号条件化的偏移向量。
• 通过残差式更新将适配向量应用于 BERT 或 XLNet 的隐藏状态，从而在不改变模型原始架构的前提下修改其内部表征。
• 该方法在微调阶段应用，使预训练模型能够适应多模态输入，同时保留其预训练知识。
• 适配向量从视觉和音频编码器的深层特征中计算得出，确保使用高层次、抽象的非语言表征。
• 该框架可端到端训练，计算复杂度与标准微调保持一致，参数开销极小。

实验结果

研究问题

• RQ1 BERT 和 XLNet 是否可在不修改架构的前提下有效微调以整合视觉和听觉模态？
• RQ2 与仅语言微调和外部融合方法相比，所提出的多模态适配门（MAG）是否能提升多模态情感分析性能？
• RQ3 MAG 是否能在 CMU-MOSI 等多模态情感分析基准上实现人类水平表现？
• RQ4 MAG 框架在其他多模态数据集（如 CMU-MOSEI，具有不同标注级别）上是否具备良好的泛化能力？
• RQ5 性能提升是源于 MAG 机制本身，还是可归因于预训练模型架构本身？

主要发现

• MAG-XLNet 在 CMU-MOSI 数据集上实现最先进性能，首次在 NLP 中实现多模态情感分析的人类水平准确率。
• 在 CMU-MOSI 上，MAG-BERT 和 MAG-XLNet 显著优于仅语言微调的 BERT 和 XLNet，以及外部融合基线方法（如 MulT）。
• 在 CMU-MOSEI 上，MAG-BERT 实现 84.7% 的二分类准确率和 84.5% 的 F1 分数，优于 MulT（83.5%，82.9%）和标准 BERT（83.9%，83.9%）。
• 在 CMU-MOSEI 上，MAG-XLNet 实现 85.6% 的二分类准确率和 85.7% 的 F1 分数，优于 MulT（84.1%，83.7%）和标准 XLNet（85.4%，85.2%）。
• 消融研究显示，在 MAG 框架中对 BERT 和 XLNet 进行随机初始化会导致性能较差（CMU-MOSI 上准确率为 70.1% 和 70.7%），证实性能增益源于 MAG 的成功微调。
• 定性分析表明，MAG-XLNet 正确地通过整合非语言线索（如面部表情和语音语调）调整情感强度，从而反转或强化文本情感预测。