[论文解读] A Meta-embedding-based Ensemble Approach for ICD Coding Prediction

Pavithra Rajendran, Alexandros Zenonos+2 more|arXiv (Cornell University)|Feb 26, 2021

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出了一种基于元嵌入的集成模型，通过几何后处理和局部线性元嵌入技术，融合来自临床记录和外部生物医学资源的多种预训练词嵌入，从而提升ICD编码预测性能。该方法在不增加模型架构复杂度的前提下，提升了ICD-9和ICD-10编码任务的性能，通过在融合过程中保持局部向量邻域结构，优于基线模型。

ABSTRACT

International Classification of Diseases (ICD) are the de facto codes used globally for clinical coding. These codes enable healthcare providers to claim reimbursement and facilitate efficient storage and retrieval of diagnostic information. The problem of automatically assigning ICD codes has been approached in literature as a multilabel classification, using neural models on unstructured data. Our proposed approach enhances the performance of neural models by effectively training word vectors using routine medical data as well as external knowledge from scientific articles. Furthermore, we exploit the geometric properties of the two sets of word vectors and combine them into a common dimensional space, using meta-embedding techniques. We demonstrate the efficacy of this approach for a multimodal setting, using unstructured and structured information. We empirically show that our approach improves the current state-of-the-art deep learning architectures and benefits ensemble models.

研究动机与目标

• 通过融合多模态数据（非结构化文本和结构化生命体征）提升临床记录的多标签ICD编码预测性能。
• 在不增加维度的前提下，通过整合外部生物医学知识，提升临床摘要中的词嵌入质量。
• 探究是否通过几何方式融合多样化预训练嵌入可提升ICD编码性能。
• 开发一种集成模型，结合来自多种模态（包括文本和结构化数据）的预测，以实现更优的分类性能。

提出的方法

• 使用MeanDiff对预训练词嵌入（MIMIC和PubMed）进行后处理，以对齐语义空间，同时保持局部邻域结构。
• 应用局部线性元嵌入技术，将多组嵌入整合为统一的、低维表示。
• 在不同模态上分别训练深度学习模型（如CNN）：非结构化文本（出院摘要）和结构化数据（生命体征）。
• 使用元分类器对模态特定模型的预测结果进行集成，以提升最终的多标签分类性能。
• 将ICD编码定义作为外部知识，用于丰富标签表示，提升其与临床文本的语义对齐。
• 在前32个ICD-10和前50个ICD-9编码上评估性能，以管理类别不平衡并确保可靠的评估。

实验结果

研究问题

• RQ1 是否可以通过几何元嵌入技术融合多种预训练词嵌入，使ICD编码预测性能超越单一嵌入基线？
• RQ2 是否通过对嵌入进行后处理以保持局部邻域结构，可提升下游分类性能？
• RQ3 是否非结构化文本与结构化临床数据的多模态融合可获得优于单模态方法的ICD编码结果？
• RQ4 所提出的嵌入融合方法在不同ICD编码系统（ICD-9与ICD-10）中是否均有效？
• RQ5 是否通过将外部生物医学知识整合到词嵌入中，可在不增加模型复杂度的情况下提升模型泛化能力？

主要发现

• 采用MeanDiff后处理的局部线性元嵌入技术，在MIMIC和PubMed嵌入上实现了所有评估配置中的最高性能。
• 表现最佳的模型在ICD-10（前32个编码）和ICD-9（前50个编码）多标签分类任务上均优于基线方法。
• 将结构化数据预测与使用融合嵌入的CNN模型进行集成，显著提升了性能，优于仅使用结构化数据的结果。
• 性能最高的配置在ICD-9和ICD-10编码任务中均表现一致，表明其对不同编码系统差异具有鲁棒性。
• 通过嵌入融合引入外部知识，显著提升了模型性能，且无需修改模型架构或增加额外训练数据。