[论文解读] Generalized Zero-shot ICD Coding

Congzheng Song, Shanghang Zhang+3 more|arXiv (Cornell University)|Sep 28, 2019

Music and Audio Processing参考文献 20被引用 6

一句话总结

本文提出 AGMC-HTS，一种对抗性生成模型，通过利用代码描述和层次结构，为零样本 ICD 编码合成潜在特征，同时从输入文本中重建相关关键词，以确保语义一致性。该方法在 MIMIC-III 数据集上实现了 20.91% 的零样本 ICD 编码 F1 分数，并在最先进方法的基础上实现了 3% 的绝对 AUC 提升。

ABSTRACT

The International Classification of Diseases (ICD) is a list of classification codes for the diagnoses. Automatic ICD coding is in high demand as the manual coding can be labor-intensive and error-prone. It is a multi-label text classification task with extremely long-tailed label distribution, making it difficult to perform fine-grained classification on both frequent and zero-shot codes at the same time. In this paper, we propose a latent feature generation framework for generalized zero-shot ICD coding, where we aim to improve the prediction on codes that have no labeled data without compromising the performance on seen codes. Our framework generates pseudo features conditioned on the ICD code descriptions and exploits the ICD code hierarchical structure. To guarantee the semantic consistency between the generated features and real features, we reconstruct the keywords in the input documents that are related to the conditioned ICD codes. To the best of our knowledge, this works represents the first one that proposes an adversarial generative model for the generalized zero-shot learning on multi-label text classification. Extensive experiments demonstrate the effectiveness of our approach. On the public MIMIC-III dataset, our methods improve the F1 score from nearly 0 to 20.91% for the zero-shot codes, and increase the AUC score by 3% (absolute improvement) from previous state of the art. We also show that the framework improves the performance on few-shot codes.

研究动机与目标

• 解决多标签临床文本分类中的广义零样本学习挑战，其中许多 ICD 编码在训练集中无标注样本。
• 在 ICD 编码频率呈现长尾分布的背景下，提升对零样本 ICD 编码的分类性能，同时不降低对已见编码的性能。
• 利用 ICD 编码的层次结构指导特征生成，增强合成特征的语义相关性。
• 通过从输入文档中重建与编码相关的关键词，确保生成特征与真实临床文本之间的语义一致性。
• 将框架扩展至少样本编码场景，提升在有限标注数据下的性能表现，而不仅限于零样本场景。

提出的方法

• 提出 AGMC-HTS，一种基于文本描述生成 ICD 编码潜在特征的条件生成对抗网络（GAN）。
• 通过鼓励零样本编码在树结构中生成与其最近邻兄弟编码相似的特征，整合 ICD 编码层次结构。
• 采用伪循环生成架构，从与条件 ICD 编码相关的输入文档中重建关键词，确保真实特征与生成特征之间的语义对齐。
• 使用改进的 WGAN-GP 损失进行生成器与判别器的联合训练，引入一种新型 $γ$-加权梯度惩罚（$\mathcal{L}_{\texttt{WGAN-Z}}$），以稳定训练过程并提升特征质量。
• 通过生成特征微调 ICD 编码分类器，实现对未见编码的更好泛化能力。
• 引入关键词重建损失（$\mathcal{L}_{\texttt{KEY}}$），训练独立预测器从生成特征中重建相关关键词，以保持语义保真度。

实验结果

研究问题

• RQ1 生成模型能否在保持已见编码准确率的同时，有效提升零样本 ICD 编码的性能？
• RQ2 将 ICD 编码层次结构融入模型，如何提升未见编码生成特征的质量与语义相关性？
• RQ3 从生成特征中重建关键词在多大程度上能保持与真实临床文本的语义一致性？
• RQ4 所提出的框架是否能泛化至标注样本有限的少样本编码场景？
• RQ5 与现有基于 GAN 或非生成式方法相比，所提出的结合层次结构与关键词约束的对抗性训练策略在多标签 ICD 编码任务中的表现如何？

主要发现

• 所提方法在零样本 ICD 编码上实现了 20.91% 的 F1 分数，相比以往方法接近 0% 的表现有显著提升。
• 与之前最先进方法相比，该框架在 MIMIC-III 数据集上的 AUC 分数提升了 3 个百分点（绝对提升）。
• 结合 $γ$-加权 WGAN 损失（$\mathcal{L}_{\texttt{WGAN-Z}}$）与关键词重建损失（$\mathcal{L}_{\texttt{KEY}}$）可获得最佳性能，在少样本编码上达到 20.15% 的 F1 分数。
• 该模型显著提升了少样本编码的召回率与 F1 分数，证明即使在训练数据有限的情况下也具有有效性。
• 定性分析表明，零样本编码生成的特征能够重建语义相关的关键词（如代码 V10.62 对应的 'leukemia'、'CML'），表明类别语义得到良好保留。
• 与基线 GAN 模型相比，层次归纳偏差与关键词重建机制显著提升了合成特征的质量与相关性。