[论文解读] Medical code prediction with multi-view convolution and description-regularized label-dependent attention

Najmeh Sadoughi, Greg P. Finley+7 more|arXiv (Cornell University)|Nov 5, 2018

Topic Modeling参考文献 11被引用 18

一句话总结

该论文提出MVC-RLDA，一种用于医疗编码预测的深度学习模型，通过多视角卷积网络自适应学习卷积核大小，并利用标签描述正则化的注意力机制缓解数据稀疏性问题。该模型在MIMIC-III数据集上实现了55.85%的新SOTA微F1分数，通过利用所有临床记录并结合代码描述进行注意力正则化，显著提升了罕见代码的泛化能力。

ABSTRACT

A ubiquitous task in processing electronic medical data is the assignment of standardized codes representing diagnoses and/or procedures to free-text documents such as medical reports. This is a difficult natural language processing task that requires parsing long, heterogeneous documents and selecting a set of appropriate codes from tens of thousands of possibilities---many of which have very few positive training samples. We present a deep learning system that advances the state of the art for the MIMIC-III dataset, achieving a new best micro F1-measure of 55.85\%, significantly outperforming the previous best result (Mullenbach et al. 2018). We achieve this through a number of enhancements, including two major novel contributions: multi-view convolutional channels, which effectively learn to adjust kernel sizes throughout the input; and attention regularization, mediated by natural-language code descriptions, which helps overcome sparsity for thousands of uncommon codes. These and other modifications are selected to address difficulties inherent to both automated coding specifically and deep learning generally. Finally, we investigate our accuracy results in detail to individually measure the impact of these contributions and point the way towards future algorithmic improvements.

研究动机与目标

• 在大规模、稀疏的ICD-9编码集合上提升医疗编码预测的准确性，尤其针对低资源（罕见）编码。
• 通过将代码的自然语言描述融入注意力机制，缓解医疗编码中的数据稀疏性问题。
• 通过在训练和推理过程中利用所有可用的临床记录（而不仅出院小结）来增强模型鲁棒性。
• 设计一种灵活的深度学习架构，通过多视角卷积动态捕捉不同感受野下的n-gram模式。
• 通过实证验证各架构组件对整体性能的贡献，特别是在低数据场景下的表现。

提出的方法

• 模型采用多视角卷积（MVC）架构，结合共享的跨通道最大池化操作，实现在不同n-gram层级上的自适应卷积核大小学习。
• 每个代码均配备一个基于其文本描述条件化的空间注意力层，通过正则化注意力机制减少对罕见代码的过拟合。
• 输入表示通过拼接每位患者的所有可用临床记录（如进展记录、手术报告等）构建。
• 模型采用共享嵌入层，后接卷积层与注意力层堆叠，其中标签特定的注意力头通过代码描述进行调优。
• 使用长度感知嵌入（T(l)）以输入序列长度为条件，改善对可变长度报告的泛化能力。
• 通过计算输入标记与代码描述之间的注意力对齐得分实现正则化，促使注意力聚焦于语义相关术语。

实验结果

研究问题

• RQ1 与固定卷积核的CNN相比，多视角卷积在编码预测性能上表现如何？
• RQ2 利用代码描述进行注意力正则化在多大程度上减少了对低资源医疗编码的过拟合？
• RQ3 使用全部临床记录与仅使用出院小结相比，对预测准确率有何影响？
• RQ4 各组件（如正则化、MVC、长度嵌入）对最终性能提升的贡献如何？
• RQ5 模型性能提升在不同训练频率分布的代码间是否存在显著差异？

主要发现

• 所提出的MVC-RLDA模型在MIMIC-III数据集上实现了55.85%的新SOTA微F1分数，超越了此前最佳结果53.9%。
• 移除多视角CNN组件导致微F1分数下降最大（从55.85%降至43.78%），表明其在捕捉多样化n-gram模式方面起着关键作用。
• 利用代码描述进行注意力正则化在所有频率分箱中均提升了微F1分数，尤其在训练样本少于10个的代码中提升最为显著。
• 使用全部临床记录而非仅出院小结显著提升了性能，证明了全面输入上下文的价值。
• 长度嵌入组件的个体影响最小，表明其对整体性能的贡献小于其他组件。
• 模型的PR AUC和P@8指标对组件移除的敏感性低于微F1，表明F1最易受召回率变化影响，尤其是多视角CNN的缺失。