[论文解读] Memory Fusion Network for Multi-view Sequential Learning

Amir Zadeh, Paul Pu Liang+4 more|arXiv (Cornell University)|Feb 3, 2018

Domain Adaptation and Few-Shot Learning被引用 120

一句话总结

MFN 引入一个由三个组成部分组成的神经网络架构，分别建模视图特定的动态，使用 Delta-memory Attention 识别跨视图交互，并在多视图门控记忆中随时间存储跨视图信息，以在多个多视图序列基准测试上实现最先进的结果。

ABSTRACT

Multi-view sequential learning is a fundamental problem in machine learning dealing with multi-view sequences. In a multi-view sequence, there exists two forms of interactions between different views: view-specific interactions and cross-view interactions. In this paper, we present a new neural architecture for multi-view sequential learning called the Memory Fusion Network (MFN) that explicitly accounts for both interactions in a neural architecture and continuously models them through time. The first component of the MFN is called the System of LSTMs, where view-specific interactions are learned in isolation through assigning an LSTM function to each view. The cross-view interactions are then identified using a special attention mechanism called the Delta-memory Attention Network (DMAN) and summarized through time with a Multi-view Gated Memory. Through extensive experimentation, MFN is compared to various proposed approaches for multi-view sequential learning on multiple publicly available benchmark datasets. MFN outperforms all the existing multi-view approaches. Furthermore, MFN outperforms all current state-of-the-art models, setting new state-of-the-art results for these multi-view datasets.

研究动机与目标

• 激发并解决多视图序列学习，其中来自不同视图的数据具有视图特定的以及跨视图的交互。
• 提出 MFN 架构，通过时间对两种交互类型进行建模。
• 在多样化的多模态数据集上展示 MFN 的有效性，并与最先进方法进行比较。

提出的方法

• 实现一个由若干 LSTM 组成的系统，其中每个视图拥有其自己的 LSTM 以捕获视图特定的动态。
• 使用 Delta-memory Attention Network (DMAN) 通过对跨视图的连续记忆状态 (t-1 和 t) 进行注意来分配跨视图交互的相关性。
• 引入一个多视图门控记忆，通过 DMAN 的输出进行更新，以随时间存储和总结跨视图交互。
• 将所有视图特定 LSTM 的输出与跨视图记忆的输出结合用于最终预测。
• 进行消融研究以评估 Delta memory 和跨视图记忆的贡献。

实验结果

研究问题

• RQ1 如何在多视图序列数据中明确建模视图特定交互和跨视图交互？
• RQ2 引入 Delta-memory Attention 机制是否能改善跨视图交互随时间的发现？
• RQ3 专用的多视图门控记忆在捕获长期跨视图信息方面的影响是什么？
• RQ4 在多样数据集上，MFN 相对于最先进的多视图序列模型的表现如何？

主要发现

• MFN 在多模态情感分析、情感识别和说话者特质分析等所有评估数据集和指标上实现了最先进的性能。
• 消融研究表明，含有 Delta memory 和 Multi-view Gated Memory 的 MFN 的性能优于缺少这些组件的 MFN 变体。
• 与显著的基线相比，MFN 提供更好的性能，参数量显著更小（约 5e5）且运行时更快（约 2858 次推断/秒）。
• 使用多视图在结果上始终优于单视图 MFN 变体，强调了跨视图建模的价值。
• Delta-memory (t-1, t) 提供了关键的时间上下文，表现为 MFN（无 Δ）的消融实验中性能下降。