[论文解读] Dual Memory Neural Computer for Asynchronous Two-view Sequential Learning

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Feb 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 7

一句话总结

本文提出双记忆神经计算机（DMNC），一种通过使用两个独立控制器和记忆模块来捕捉视图内动态与长期依赖关系的神经网络，以建模异步双视图序列数据。该模型支持晚期融合与早期融合记忆模式，以处理延迟和早期的视图间交互，利用真实世界医疗数据在药物处方和疾病进展预测任务中实现了最先进性能。

ABSTRACT

One of the core tasks in multi-view learning is to capture relations among views. For sequential data, the relations not only span across views, but also extend throughout the view length to form long-term intra-view and inter-view interactions. In this paper, we present a new memory augmented neural network model that aims to model these complex interactions between two asynchronous sequential views. Our model uses two encoders for reading from and writing to two external memories for encoding input views. The intra-view interactions and the long-term dependencies are captured by the use of memories during this encoding process. There are two modes of memory accessing in our system: late-fusion and early-fusion, corresponding to late and early inter-view interactions. In the late-fusion mode, the two memories are separated, containing only view-specific contents. In the early-fusion mode, the two memories share the same addressing space, allowing cross-memory accessing. In both cases, the knowledge from the memories will be combined by a decoder to make predictions over the output space. The resulting dual memory neural computer is demonstrated on a comprehensive set of experiments, including a synthetic task of summing two sequences and the tasks of drug prescription and disease progression in healthcare. The results demonstrate competitive performance over both traditional algorithms and deep learning methods designed for multi-view problems.

研究动机与目标

• 解决异步、长序列、多视图数据的建模挑战，其中视图未时间对齐且表现出复杂的视图内与视图间依赖关系。
• 通过设计一种可处理可变长度、异步序列视图的模型，克服同步多视图学习的局限性。
• 捕捉三类交互：视图内动态、推理期间的延迟视图间映射，以及推理前的早期视图间依赖。
• 开发一种通用且可扩展的架构，利用外部记忆建模现实应用（如医疗）中的复杂序列交互。

提出的方法

• 使用两个独立的神经控制器和外部记忆模块，独立编码每个输入视图，通过记忆写入与读取实现视图内长期依赖的建模。
• 实现两种不同的记忆访问模式：晚期融合（独立记忆空间，编码期间无跨访问）与早期融合（共享寻址空间，支持编码期间的跨记忆访问）。
• 引入缓存组件，在时间步之间临时存储写入值，实现在编码过程中视图间的异步信息共享。
• 在解码阶段采用记忆写保护机制，以提升推理效率与稳定性。
• 在解码器中将两个记忆的读向量进行组合，生成最终预测，采用基于注意力的融合机制实现视图间知识整合。
• 利用具有基于内容寻址和可微读写操作的外部记忆，支持长程依赖关系的学习。

实验结果

研究问题

• RQ1 记忆增强神经网络能否有效建模双视图序列数据中的长期依赖关系与异步交互？
• RQ2 晚期融合与早期融合记忆模式在捕捉不同类型视图间交互方面表现如何比较？
• RQ3 所提出的DMNC模型在真实世界序列多视图任务中，相对于现有深度学习与传统多视图方法，性能提升程度如何？
• RQ4 在药物处方与疾病进展等医疗预测任务中，建模视图间事件级交互是否能提升性能？

主要发现

• DMNC模型在药物处方任务中达到最先进性能，在区域医院数据集上P@1达到67.6%，优于DeepCare（66.2%）与WLAS（65.9%）。
• 在疾病进展任务中，早期融合DMNC在心理健康预测中P@3达到47.1%，在糖尿病预测中达到56.9%，在所有P@K指标上均优于WLAS与DeepCare。
• 早期融合模式在建模早期视图间交互方面表现更优，尤其在捕捉与心脏相关的治疗序列方面，使Acetylsalicylic Acid等药物更可能被纳入推荐。
• 尽管仅依赖原始医疗代码，该模型仍优于使用预训练嵌入与时间间隔特征的DeepCare，凸显了在事件层面建模视图交互的重要性。
• 写门控值的可视化显示，两种模式均更关注严重且临床相关的事件，其中早期融合模式保留了更多对治疗预测至关重要的程序性信息。
• 在糖尿病队列中，晚期融合模式略胜于早期融合，但整体而言，早期融合变体表现更优，验证了其建模所有类型视图间交互的能力。