[论文解读] Mixed Pooling Multi-View Attention Autoencoder for Representation Learning in Healthcare

Shaika Chowdhury, Chenwei Zhang+2 more|arXiv (Cornell University)|Oct 14, 2019

Machine Learning in Healthcare参考文献 23被引用 8

一句话总结

该论文提出了一种无监督深度学习模型——混合池化多视角注意力自编码器（MPVAA），通过结合模态特定嵌入的图自编码器、鲁棒的特征提取混合池化方法以及跨模态整合的多视角注意力机制，从异构电子健康记录（EHR）数据中学习个性化的患者表征。MPVAA在心力衰竭预测和序列疾病预测任务中均优于最先进方法，通过注意力驱动的多样化临床数据类型融合，展现出优越的表征学习能力。

ABSTRACT

Distributed representations have been used to support downstream tasks in healthcare recently. Healthcare data (e.g., electronic health records) contain multiple modalities of data from heterogeneous sources that can provide complementary information, alongside an added dimension to learning personalized patient representations. To this end, in this paper we propose a novel unsupervised encoder-decoder model, namely Mixed Pooling Multi-View Attention Autoencoder (MPVAA), that generates patient representations encapsulating a holistic view of their medical profile. Specifically, by first learning personalized graph embeddings pertaining to each patient's heterogeneous healthcare data, it then integrates the non-linear relationships among them into a unified representation through multi-view attention mechanism. Additionally, a mixed pooling strategy is incorporated in the encoding step to learn diverse information specific to each data modality. Experiments conducted for multiple tasks demonstrate the effectiveness of the proposed model over the state-of-the-art representation learning methods in healthcare.

研究动机与目标

• 为解决从包含人口统计学信息、检验结果和临床记录的异构EHR数据中学习全面且个性化的患者表征的挑战。
• 通过在EHR中多种数据类型之间融合互补信息，克服单模态表征学习的局限性。
• 开发一种无监督框架，减少对昂贵标注数据的依赖，同时提升下游预测性能。
• 通过在编码过程中集成注意力机制和随机混合池化，提升模型的可解释性和鲁棒性。

提出的方法

• 为每种模态（人口统计学、检验结果、临床记录）构建患者特定的内部视图图，通过图自编码器学习局部化、模态特定的嵌入。
• 对就诊序列应用多层Transformer编码器，以建模患者病史中的时间依赖性和语义依赖性。
• 实施一种随机化方式组合均值池化和最大池化的随机混合池化策略，以在潜在表征中同时保留通用特征和显著特征。
• 在解码器中使用多视角注意力机制，通过建模不同视图之间的跨模态交互来重建输入序列。
• 采用基于自注意力的自编码器架构，不依赖RNN，完全依赖注意力机制进行序列建模。
• 集成位置嵌入以保持序列顺序，但消融实验表明其影响微乎其微，因为医疗代码本身具有固有的无序性。

实验结果

研究问题

• RQ1 无监督模型能否通过整合来自多种模态的异构EHR数据，有效学习到整体性的患者表征？
• RQ2 与确定性池化策略相比，混合池化在捕捉多模态EHR输入中多样化且鲁棒的特征方面表现如何？
• RQ3 通过建模临床数据中的跨模态依赖关系，多视角注意力在多大程度上提升了表征质量？
• RQ4 所提出的MPVAA模型在下游医疗预测任务中是否比现有最先进方法具有更好的泛化能力？

主要发现

• MPVAA在心力衰竭预测和序列疾病预测任务中均显著优于最先进模型，包括LSTM-AE、M2V和GRAM。
• 消融实验确认，混合池化对性能有显著贡献，随机组合均值池化和最大池化的效果优于确定性替代方案。
• 排除多视角注意力（如VAA和MMAA变体）导致性能下降最大，证明了跨模态交互建模的重要性。
• 在心力衰竭预测中，MPVAA的AUC-ROC和AUC-PR均高于所有基线模型；在序列疾病预测中，NDCG@k得分也更优。
• 即使不使用位置嵌入，模型性能依然稳健，表明注意力机制能有效捕捉与序列顺序无关的相关模式。
• 使用图自编码器学习模态特定嵌入，相比标准向量表示，能实现更好的个性化和更丰富的特征学习。