[论文解读] Cross-lingual Candidate Search for Biomedical Concept Normalization

Roland Roller, Madeleine Kittner+2 more|arXiv (Cornell University)|May 4, 2018

Natural Language Processing Techniques参考文献 5被引用 15

一句话总结

本文提出了一种基于字符级神经机器翻译模型的跨语言候选搜索框架，用于生物医学概念归一化，该模型在多语言UMLS术语（西班牙语、法语、荷兰语、德语）上进行训练。通过将该模型集成到顺序搜索流程中——先在非英语UMLS中查询，再在英语UMLS中查询（是否经过翻译）——该方法提升了召回率和F1值，优于CLEF eHealth 2015/2016团队以及法语、西班牙语和荷兰语的商业翻译工具，同时具备免费、本地部署的特性，适用于对隐私敏感的临床文本处理。

ABSTRACT

Biomedical concept normalization links concept mentions in texts to a semantically equivalent concept in a biomedical knowledge base. This task is challenging as concepts can have different expressions in natural languages, e.g. paraphrases, which are not necessarily all present in the knowledge base. Concept normalization of non-English biomedical text is even more challenging as non-English resources tend to be much smaller and contain less synonyms. To overcome the limitations of non-English terminologies we propose a cross-lingual candidate search for concept normalization using a character-based neural translation model trained on a multilingual biomedical terminology. Our model is trained with Spanish, French, Dutch and German versions of UMLS. The evaluation of our model is carried out on the French Quaero corpus, showing that it outperforms most teams of CLEF eHealth 2015 and 2016. Additionally, we compare performance to commercial translators on Spanish, French, Dutch and German versions of Mantra. Our model performs similarly well, but is free of charge and can be run locally. This is particularly important for clinical NLP applications as medical documents underlay strict privacy restrictions.

研究动机与目标

• 解决生物医学术语知识库（如UMLS）中非英语术语覆盖率低的问题，该问题限制了多语言临床文本中的概念归一化。
• 通过开发一种免费、本地化且开源的替代方案，克服对商业在线翻译工具的依赖，后者在临床自然语言处理中违反隐私约束。
• 通过使用神经机器翻译实现跨语言候选搜索，提升非英语生物医学文本在概念归一化中的召回率和精确率。
• 在法语Quaero和Mantra语料库上评估模型性能，与最先进系统对比，证明其在F1和召回率上的优越性。
• 实现在临床环境中部署，其中数据隐私要求禁止将患者记录发送至外部翻译服务。

提出的方法

• 在西班牙语、法语、荷兰语和德语的多语言UMLS术语上训练基于字符的神经机器翻译模型。
• 实施顺序候选搜索流程：(1) 在非英语UMLS中搜索，(2) 在英语UMLS中搜索（不翻译），(3) 使用神经模型翻译术语后，在英语UMLS中搜索。
• 采用基于概念ID频率和语义类型的消歧策略，以减少误报。
• 将神经翻译模型集成到流程中，生成用于候选扩展的跨语言术语翻译。
• 使用标准指标（精确率、召回率、F1）在法语Quaero语料库和Mantra语料库上评估性能。
• 在相同流程设置下，直接对比神经模型与Google Translate和Bing Translator的翻译质量。

实验结果

研究问题

• RQ1 在多语言UMLS上训练的基于字符的神经翻译模型，能否提升非英语生物医学概念归一化中的候选召回率？
• RQ2 将跨语言翻译集成到顺序候选搜索流程中，是否能在非英语语料上优于单语言和非翻译基线方法？
• RQ3 所提出的神经翻译模型在西班牙语、法语、荷兰语和德语上的精确率、召回率和F1表现，与商业翻译工具（Google、Bing）相比如何？
• RQ4 模型性能与UMLS中每种语言的概念数量之间存在何种相关性？
• RQ5 该模型能否实现本地部署，并在不依赖在线翻译服务的前提下，用于对隐私要求严格的临床NLP应用？

主要发现

• 在法语Quaero语料上，顺序跨语言候选搜索结合神经翻译模型的表现优于CLEF eHealth 2015和2016的大多数参赛团队。
• 在Mantra语料上，该模型在西班牙语上的召回率和F1值高于Google Translate和Bing Translator，精确率相当。
• 在法语、荷兰语和德语上，该模型在精确率和召回率上与商业翻译工具表现相近，但具备本地部署的优势。
• 模型性能按顺序下降：西班牙语 > 法语 > 德语 > 荷兰语，该趋势与每种语言在UMLS中的概念数量相关。
• 模型的精确率也呈现相同顺序，而商业翻译工具在德语上表现最佳，表明翻译质量存在语言特异性差异。
• 该系统免费、开源，可本地部署，适用于对数据隐私要求极高的临床NLP应用。