[论文解读] Few-shot Learning for Named Entity Recognition in Medical Text

Maximilian Hofer, Andrey Kormilitzin+2 more|arXiv (Cornell University)|Nov 13, 2018

Topic Modeling参考文献 17被引用 55

一句话总结

本论文在仅有十个标注示例的情况下评估了五项改进来提升医学文本的少-shot NER，将 F1 从 69.3% 提升至 78.87%。

ABSTRACT

Deep neural network models have recently achieved state-of-the-art performance gains in a variety of natural language processing (NLP) tasks (Young, Hazarika, Poria, & Cambria, 2017). However, these gains rely on the availability of large amounts of annotated examples, without which state-of-the-art performance is rarely achievable. This is especially inconvenient for the many NLP fields where annotated examples are scarce, such as medical text. To improve NLP models in this situation, we evaluate five improvements on named entity recognition (NER) tasks when only ten annotated examples are available: (1) layer-wise initialization with pre-trained weights, (2) hyperparameter tuning, (3) combining pre-training data, (4) custom word embeddings, and (5) optimizing out-of-vocabulary (OOV) words. Experimental results show that the F1 score of 69.3% achievable by state-of-the-art models can be improved to 78.87%.

研究动机与目标

• 在标注数据稀缺的情况下，推动医学文本中的低标注量 NER。
• 评估在 few-shot 条件下提升 NER 性能的五种策略（十个示例）。
• 量化这些策略对标准 NER 指标的影响。
• 为在有限注释下构建医学 NER 系统提供实际指南。

提出的方法

• 采用分层初始化和预训练权重以转移知识。
• 调优超参数以在 few-shot 设置下优化模型性能。
• 结合来自多个来源的预训练数据以丰富表示。
• 设计或采用适合医学词汇的定制词嵌入。
• 优化对 OOV（out-of-vocabulary）词的处理以降低稀疏性。

实验结果

研究问题

• RQ1 在只有 ten labeled examples 的情况下，few-shot 学习如何提升医学文本中的 NER 性能？
• RQ2 分层预训练、超参数调优、数据混合、定制嵌入和 OOV 优化对 NER 准确性的影响是什么？
• RQ3 这些策略是否能够共同提升该领域的 F1 分数，超过现有的最先进基线？

主要发现

• 提出的五项改进在 ten-shot 条件下使 F1 分数从基线 69.3% 显著提升至 78.87%。
• 分层初始化、调优的超参数、数据组合、定制嵌入以及 OOV 优化各自都对性能提升有贡献。
• 综合方法展示了在极少的标注医学数据下实现强大 NER 性能的可行性。