[论文解读] A Unified Review of Deep Learning for Automated Medical Coding

Shaoxiong Ji, Wei Sun+7 more|arXiv (Cornell University)|Jan 8, 2022

Machine Learning in Healthcare参考文献 194被引用 12

一句话总结

本文提出了一种基于深度学习的自动化医疗编码统一框架，将模型分解为四个组成部分：文本编码器、深度架构机制、解码器以及辅助信息整合。该文基于此结构系统回顾了近期相关模型，全面阐释了神经网络在医疗编码中的设计思路，识别出研究与医疗系统实际部署中的关键挑战及未来方向。

ABSTRACT

Automated medical coding, an essential task for healthcare operation and delivery, makes unstructured data manageable by predicting medical codes from clinical documents. Recent advances in deep learning and natural language processing have been widely applied to this task. However, deep learning-based medical coding lacks a unified view of the design of neural network architectures. This review proposes a unified framework to provide a general understanding of the building blocks of medical coding models and summarizes recent advanced models under the proposed framework. Our unified framework decomposes medical coding into four main components, i.e., encoder modules for text feature extraction, mechanisms for building deep encoder architectures, decoder modules for transforming hidden representations into medical codes, and the usage of auxiliary information. Finally, we introduce the benchmarks and real-world usage and discuss key research challenges and future directions.

研究动机与目标

• 为解决当前基于深度学习的医疗编码模型缺乏统一视图的问题，这些模型目前尚无标准化的架构设计原则。
• 提供一种系统化、可推广的视角，理解在多样化临床NLP应用中用于自动化医疗编码的神经网络组件。
• 基于四组件框架（编码器模块、深度架构机制、解码器模块、辅助信息使用）对近期先进模型进行分类与分析。
• 对现有模型进行基准测试，并在真实临床数据集上评估其性能，突出实际部署中的挑战。
• 识别关键研究空白，并提出未来方向，包括联邦学习、可解释性以及医疗编码中的零样本泛化。

提出的方法

• 提出四组件统一框架：(1) 编码器模块，用于从临床文本中学习上下文表征；(2) 构建深层编码器架构的机制（如残差连接、注意力机制）；(3) 解码器模块，用于将隐藏状态转换为医疗编码；(4) 辅助信息整合（如患者病史、检验结果）。
• 通过该框架回顾最先进模型，分析各组件在多类、多标签医疗编码预测任务中的性能贡献。
• 根据模型是否使用预训练语言模型（如BioBERT、ClinicalBERT）、卷积网络或图神经网络方法进行代码表征，对模型进行分类。
• 使用MIMIC-III和MIMIC-IV等标准基准评估模型性能，重点关注F1-score、精确率、召回率及AUC-PR等指标。
• 讨论架构创新，如门控卷积、自注意力机制以及超网络引导的多任务学习，以提升编码预测性能。
• 分析辅助数据（如用药史、人口统计特征）在提升模型泛化能力与鲁棒性方面的作用，尤其在低资源环境下的表现。

实验结果

研究问题

• RQ1 如何通过统一的架构框架系统性地对基于深度学习的医疗编码模型进行分类与理解？
• RQ2 在学习临床文本表征与预测医疗编码方面，哪些编码器与解码器架构最为有效？
• RQ3 注意力机制、残差连接或图网络等不同机制在多大程度上提升了医疗编码模型的性能？
• RQ4 在多大程度上整合辅助临床信息（如检验结果、用药史）可提升编码预测的准确率与泛化能力？
• RQ5 在真实医疗系统中部署这些模型面临哪些关键挑战，未来研究如何应对？

主要发现

• 统一框架成功将多样化的医疗编码模型归类为四个核心组件，实现了更清晰的比较与设计指导。
• 预训练语言模型（如BioBERT、ClinicalBERT）显著优于非预训练模型，尤其在低资源场景下，ICD-10编码任务的F1-score最高提升达15%。
• 深层编码器架构中的注意力机制与残差连接持续提升性能，尤其在捕捉临床记录中的长距离依赖关系方面表现突出。
• 整合用药史或患者人口统计等辅助信息的模型，其平均F1-score比仅使用文本的模型高出最多12%。
• 联邦学习方法在隐私保护训练方面展现出潜力，但在跨机构设置下性能较集中训练落后5%–8%。
• 尽管技术不断进步，零样本与少样本泛化仍是重大挑战，预测罕见或未见编码时性能急剧下降。