[论文解读] A Neural Topic-Attention Model for Medical Term Abbreviation Disambiguation

Irene Li, Michihiro Yasunaga+5 more|arXiv (Cornell University)|Oct 30, 2019

Biomedical Text Mining and Ontologies参考文献 26被引用 25

一句话总结

该论文提出了一种少样本神经主题注意力模型，通过使用ELMo嵌入和主题感知注意力来增强上下文句表示，从而提升医学术语缩写消歧性能。通过整合来自临床笔记预训练Doc2Vec模型的主题信息，该模型在人工整理的、平衡的测试集上相比基线LSTM模型实现了14.86%的F1分数提升，显著增强了对罕见含义的性能表现。

ABSTRACT

Automated analysis of clinical notes is attracting increasing attention. However, there has not been much work on medical term abbreviation disambiguation. Such abbreviations are abundant, and highly ambiguous, in clinical documents. One of the main obstacles is the lack of large scale, balance labeled data sets. To address the issue, we propose a few-shot learning approach to take advantage of limited labeled data. Specifically, a neural topic-attention model is applied to learn improved contextualized sentence representations for medical term abbreviation disambiguation. Another vital issue is that the existing scarce annotations are noisy and missing. We re-examine and correct an existing dataset for training and collect a test set to evaluate the models fairly especially for rare senses. We train our model on the training set which contains 30 abbreviation terms as categories (on average, 479 samples and 3.24 classes in each term) selected from a public abbreviation disambiguation dataset, and then test on a manually-created balanced dataset (each class in each term has 15 samples). We show that enhancing the sentence representation with topic information improves the performance on small-scale unbalanced training datasets by a large margin, compared to a number of baseline models.

研究动机与目标

• 解决临床笔记中低资源、不平衡且噪声较多的医学缩写消歧数据集带来的挑战。
• 在标注数据有限的少样本学习设置下，提升消歧性能，特别是对罕见缩写含义的识别能力。
• 对现有公开数据集进行修正与重构，以建立可靠且平衡的训练与测试集，确保公平评估。
• 将主题信息整合到上下文句表示中，以增强在低数据场景下的模型泛化能力。
• 首次对一系列传统与深度学习基线模型在此任务上的表现进行系统评估与比较。

提出的方法

• 模型使用ELMo嵌入从临床句子中捕获上下文感知的词表示。
• 引入主题注意力机制，对基于MIMIC-III笔记预训练的Doc2Vec模型生成的主题向量进行注意力计算。
• 通过在LDA主题的关键词上应用卷积层，再经最大池化操作，生成固定大小的主题向量矩阵。
• 通过拼接上下文特征（来自ELMo）与主题感知特征（来自对主题向量的注意力计算），构建句子表示。
• 使用全连接层与Softmax进行分类，采用交叉熵损失进行训练。
• 模型采用端到端微调策略，反向传播过程中同时更新ELMo与主题表示。

实验结果

研究问题

• RQ1 在低资源设置下，将主题信息整合到上下文嵌入中是否能提升医学缩写消歧的性能？
• RQ2 所提出的主题注意力模型在罕见缩写含义上的F1分数与准确率方面，相较于LSTM与CNN等强基线模型表现如何？
• RQ3 相较于仅使用词嵌入，预训练的ELMo在多大程度上提升了消歧性能？
• RQ4 将ELMo与主题感知注意力结合，是否能显著优于单独使用任一组件？
• RQ5 经过清洗与平衡的测试集是否能够实现对罕见缩写含义识别的公平评估？

主要发现

• 所提出的ELMo+Topic模型实现了70.41%的宏F1分数，相比基线LSTM-self模型（55.55%）提升了14.86%。
• 模型准确率达到74.76%，较基线模型提升了12.27%，表明在少样本学习中具有显著优势。
• 仅主题注意力模块本身即使F1分数相比基线模型提升了9.69%，证明了主题信息的有效性。
• ELMo仅模型的表现优于仅主题模型，达到67.81%的宏F1分数，表明上下文嵌入比单独的主题特征更具有效性。
• ELMo+Topic模型的平均AUC分数（0.8196）显著高于基线模型（0.7189），证实其在所有术语上的判别能力更强。
• 模型在罕见含义上表现优异，经由平衡测试集验证，每个术语的每个类别恰好包含15个样本。