[论文解读] Embedding Complexity In the Data Representation Instead of In the Model: A Case Study Using Heterogeneous Medical Data

Jacek M. Bajor, Diego Mesa+2 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning in Healthcare参考文献 32被引用 8

一句话总结

本文提出使用完整病历语义嵌入，直接在数据表示中捕捉复杂的临床数据依赖关系，绕过繁琐的预处理步骤，使下游预测可采用简单、快速的线性模型。该方法在三个临床任务中均取得具有竞争力的性能，同时保持了患者相似性和疾病进展轨迹，表明将复杂性嵌入数据可减少对专家驱动预处理和复杂模型的依赖。

ABSTRACT

Electronic Health Records have become popular sources of data for secondary research, but their use is hampered by the amount of effort it takes to overcome the sparsity, irregularity, and noise that they contain. Modern learning architectures can remove the need for expert-driven feature engineering, but not the need for expert-driven preprocessing to abstract away the inherent messiness of clinical data. This preprocessing effort is often the dominant component of a typical clinical prediction project. In this work we propose using semantic embedding methods to directly couple the raw, messy clinical data to downstream learning architectures with truly minimal preprocessing. We examine this step from the perspective of capturing and encoding complex data dependencies in the data representation instead of in the model, which has the nice benefit of allowing downstream processing to be done with fast, lightweight, and simple models accessible to researchers without machine learning expertise. We demonstrate with three typical clinical prediction tasks that the highly compressed, embedded data representations capture a large amount of useful complexity, although in some cases the compression is not completely lossless.

研究动机与目标

• 通过将复杂的数据依赖关系直接嵌入数据表示，减少临床预测中对专家驱动预处理的需求。
• 通过将复杂性从模型转移到数据表示，实现使用简单、快速且可解释的模型（如线性分类器）进行预测。
• 评估高度压缩的嵌入表示是否能保留患者相似性和疾病进展等临床有意义的模式。
• 证明使用无监督、记录级语义嵌入作为通用、可重用表示，适用于多种临床预测任务的可行性。
• 为不具备机器学习专业知识的研究人员提供一种可扩展、低门槛的电子健康记录（EHR）研究入门方式。

提出的方法

• 该方法采用类似Skip-gram的语义嵌入（受Word2Vec启发），基于临床编码和事件，学习整个患者记录的稠密向量表示。
• 将每位患者的纵向异质EHR数据视为临床事件序列（如诊断、药物、检验结果），并将其嵌入到固定大小的向量空间中。
• 嵌入模型在大规模EHR数据语料上无监督训练，学习基于患者整体记录表示来预测序列中的邻近事件。
• 所得嵌入向量用作下游预测任务的输入特征，替代原始或预处理数据。
• 在嵌入表示上训练简单线性模型（逻辑回归）和更复杂的模型（XGBoost），以比较性能。
• 通过在嵌入向量上应用降维（PCA）可视化患者相似性和疾病轨迹，以评估语义保留程度。

实验结果

研究问题

• RQ1 单一、通用的、无监督的完整EHR记录嵌入是否足以捕捉足够复杂性，以在无需大量预处理的情况下支持准确的临床预测？
• RQ2 使用嵌入表示是否能有效支持简单、轻量级模型（如线性分类器）替代复杂模型架构？
• RQ3 嵌入表示在多大程度上保留了患者相似性和疾病进展轨迹等临床有意义的模式？
• RQ4 在嵌入表示上训练的模型性能与在传统专家预处理特征上训练的模型相比如何？
• RQ5 该方法是否可作为EHR研究中初始概念验证研究的可扩展、低投入的替代方案？

主要发现

• 嵌入表示在三个临床预测任务（乳腺癌、糖尿病治疗、肺癌预测）中的表现与传统预处理方法相当。
• 在嵌入向量上训练的线性模型表现出与在原始或预处理数据上训练的模型相当或略优的校准性能，尤其在更复杂的XGBoost模型中表现更优。
• 嵌入向量保留了患者相似性，阳性病例（疾病发作）在嵌入空间中紧密聚类，表明具有有意义的语义结构。
• 嵌入空间中的患者轨迹清晰地展示了从阴性到阳性状态的疾病进展过程，诊断时间点以颜色从深紫色过渡到黄色标记。
• 该方法实现了快速、可解释的模型，使非专家也能轻松使用，显著降低了EHR研究的进入门槛。
• 由于其通用性和无监督特性，该方法在大规模应用中展现出潜力，例如预测18,000种ICD-9编码的疾病。