[论文解读] ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network

Fei Li, Hong Yu|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 21被引用 5

一句话总结

本文提出 MultiResCNN，一种深度学习模型，通过结合多滤波器与残差卷积层，提升从临床文本进行 ICD 编码的性能。通过捕捉多样的文本模式并扩大感受野，该模型在 MIMIC-III 和 MIMIC-II 数据集上均达到最先进性能，在 15 项评估指标中的 14 项上优于先前模型。

ABSTRACT

Automated ICD coding, which assigns the International Classification of Disease codes to patient visits, has attracted much research attention since it can save time and labor for billing. The previous state-of-the-art model utilized one convolutional layer to build document representations for predicting ICD codes. However, the lengths and grammar of text fragments, which are closely related to ICD coding, vary a lot in different documents. Therefore, a flat and fixed-length convolutional architecture may not be capable of learning good document representations. In this paper, we proposed a Multi-Filter Residual Convolutional Neural Network (MultiResCNN) for ICD coding. The innovations of our model are two-folds: it utilizes a multi-filter convolutional layer to capture various text patterns with different lengths and a residual convolutional layer to enlarge the receptive field. We evaluated the effectiveness of our model on the widely-used MIMIC dataset. On the full code set of MIMIC-III, our model outperformed the state-of-the-art model in 4 out of 6 evaluation metrics. On the top-50 code set of MIMIC-III and the full code set of MIMIC-II, our model outperformed all the existing and state-of-the-art models in all evaluation metrics. The code is available at https://github.com/foxlf823/Multi-Filter-Residual-Convolutional-Neural-Network.

研究动机与目标

• 解决平面的、固定长度的卷积架构在学习 ICD 编码有效文档表示方面的局限性。
• 通过捕捉临床记录中不同长度和语法结构的多样化文本模式，提升 ICD 编码性能。
• 通过残差连接与多尺度滤波，增强模型深度与表征能力。
• 在广泛使用的 MIMIC 数据集上评估模型，并与最先进基线模型进行比较。
• 证明深度且多样化的文本表征可显著提升 ICD 代码预测准确率。

提出的方法

• 模型使用预训练的 word2vec 嵌入作为输入，以捕捉临床文本中的语义含义。
• 多滤波器卷积层同时应用多个滤波器大小（例如 3、4、5），以提取不同长度的局部模式。
• 堆叠残差块以支持更深的网络架构，并缓解梯度消失问题。
• 残差卷积层扩大感受野，使模型能够捕捉文本中的长距离依赖关系。
• 在卷积层之后应用注意力层，以突出对代码预测重要的标记。
• 输出层使用 Sigmoid 激活函数，独立预测每个 ICD 代码的概率，支持多标签分类。

实验结果

研究问题

• RQ1 多滤波器卷积层是否能通过捕捉不同长度的文本模式来提升 ICD 编码性能？
• RQ2 在 CNN 架构中引入残差连接是否能通过实现更深且更稳定的训练来提升性能？
• RQ3 所提出的 MultiResCNN 模型在多标签 ICD 编码任务中与最先进模型相比表现如何？
• RQ4 感受野扩展对临床文本中 ICD 代码预测有何影响？
• RQ5 超参数（如滤波器大小和残差块数量）在多大程度上影响模型性能？

主要发现

• 在 MIMIC-III 的完整代码集上，MultiResCNN 在 6 项评估指标中的 4 项上优于最先进模型，包括宏 AUC、微 F1，以及 K=8 和 K=15 时的精确率。
• 在 MIMIC-III 的前 50 个代码集和 MIMIC-II 的完整代码集上，MultiResCNN 在所有评估指标上均优于所有现有及最先进模型。
• 在 MIMIC-III（完整代码）上，模型实现微 F1 为 0.566，精确率@5 为 0.741，即使输入长度被截断至 2,500 个标记，性能也仅出现轻微下降。
• 超参数调优证实，多滤波器与残差卷积层均显著提升性能，且模型仅用 26 个周期即收敛，而 CAML 需 85 个周期。
• 尽管参数量增加 1.9 倍、每轮训练时间延长 2.3 倍，但在某些设置下，MultiResCNN 的推理速度仍快于 CAML，尽管整体计算成本更高。
• 在 MIMIC-II 上，与 Perotte 等人的 SVM 基线相比，Micro-F1 提升 0.171；与 Baumel 等人的 GRU-attention 模型相比，Micro-F1 提升 0.098。