[論文レビュー] Cross-lingual Candidate Search for Biomedical Concept Normalization

Roland Roller, Madeleine Kittner+2 more|arXiv (Cornell University)|May 4, 2018

Natural Language Processing Techniques参考文献 5被引用数 15

ひとこと要約

本稿では、スペイン語、フランス語、オランダ語、ドイツ語の多言語UMLS用語を用いて訓練された文字ベースのニューラル翻訳モデルを用いた、生物医学的概念正規化のためのクロスリンガルコアントレースフレームワークを提案する。非英語のUMLSを最初に照会し、次に翻訳を伴うか伴わない英語UMLSを照会する段階的検索パイプラインにモデルを統合することで、再現率とF1が向上し、CLEF eHealth 2015/2016の参加チームおよび商業的翻訳ツールを上回る性能を発揮する。また、プライバシー制約のある臨床テキストに対して、無料でローカルにデプロイ可能である。

ABSTRACT

Biomedical concept normalization links concept mentions in texts to a semantically equivalent concept in a biomedical knowledge base. This task is challenging as concepts can have different expressions in natural languages, e.g. paraphrases, which are not necessarily all present in the knowledge base. Concept normalization of non-English biomedical text is even more challenging as non-English resources tend to be much smaller and contain less synonyms. To overcome the limitations of non-English terminologies we propose a cross-lingual candidate search for concept normalization using a character-based neural translation model trained on a multilingual biomedical terminology. Our model is trained with Spanish, French, Dutch and German versions of UMLS. The evaluation of our model is carried out on the French Quaero corpus, showing that it outperforms most teams of CLEF eHealth 2015 and 2016. Additionally, we compare performance to commercial translators on Spanish, French, Dutch and German versions of Mantra. Our model performs similarly well, but is free of charge and can be run locally. This is particularly important for clinical NLP applications as medical documents underlay strict privacy restrictions.

研究の動機と目的

• UMLSなどの知識ベースにおける非英語の生物医学用語のカバー率が低いという課題に対処し、多言語臨床テキストにおける概念正規化を可能にする。
• 臨床NLPにおけるプライバシー制約に反する商用オンライン翻訳サービスに依存するのを回避し、無料でローカルに実装可能でオープンソースの代替手段を開発する。
• ニューラル翻訳を用いたクロスリンガルコアントレースを可能にすることで、非英語の生物医学的テキストにおける概念正規化の再現率と適合率を向上させる。
• フランス語QuaeroおよびMantraコーパス上で、最先端のシステムと比較して、F1および再現率の面で優れた性能を示すことを評価する。
• 患者記録を外部翻訳サービスに送信できないプライバシー制約のある臨床環境でのデプロイを可能にする。

提案手法

• スペイン語、フランス語、オランダ語、ドイツ語の多言語UMLS用語を用いて、文字ベースのニューラル機械翻訳モデルを訓練する。
• 段階的コアントレースパイプラインを実装する：(1) 非英語UMLSでの照会、(2) 翻訳なしで英語UMLSでの照会、(3) ニューラルモデルを用いて用語を翻訳した後、英語UMLSでの照会。
• 概念IDの頻度と意味的タイプに基づく不正検出の低減戦略を採用する。
• パイプラインにニューラル翻訳モデルを統合し、コアントレースの拡張に用いるクロスリンガル用語翻訳を生成する。
• フランス語QuaeroコーパスおよびMantraコーパス上で、標準的な指標（適合率、再現率、F1）を用いて性能を評価する。
• 同じパイプライン設定下で、Google翻訳およびBing翻訳と直接比較し、ニューラルモデルの翻訳品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語UMLSを用いて訓練された文字ベースのニューラル翻訳モデルは、非英語の生物医学的概念正規化におけるコアントレースの再現率を向上させることができるか？
• RQ2 クロスリンガル翻訳を段階的コアントレースパイプラインに統合することで、単語言語および非翻訳ベースのアプローチを上回る性能が得られるか？
• RQ3 スペイン語、フランス語、オランダ語、ドイツ語において、提案されたニューラル翻訳モデルの性能（適合率、再現率、F1）は、商業的翻訳ツール（Google、Bing）と比較してどうなるか？
• RQ4 UMLSにおける言語ごとの概念数に応じて、モデルの性能がどの程度相関するか？
• RQ5 モデルはローカルにデプロイ可能であり、外部翻訳サービスに依存せずに、プライバシーが重要な臨床NLPアプリケーションで使用可能か？

主な発見

• 段階的クロスリンガルコアントレースにニューラル翻訳モデルを統合した手法は、フランス語Quaeroコーパスにおいて、CLEF eHealth 2015および2016の大多数の参加チームを上回った。
• Mantraコーパスでは、スペイン語に関して、Google翻訳およびBing翻訳を上回る再現率とF1を達成したが、適合率は同等であった。
• フランス語、オランダ語、ドイツ語に関しては、適合率と再現率が商業的翻訳ツールと同等であったが、ローカルデプロイの利点を有していた。
• モデルの性能は、スペイン語 > フランス語 > ドイツ語 > オランダ語の順に低下し、これはUMLSにおける言語ごとの概念数と相関していた。
• 適合率についても同様の順序が観察されたが、商業的翻訳ツールはドイツ語において最も優れた性能を示しており、言語ごとの翻訳品質のばらつきが示唆された。
• システムは無料でオープンソースであり、ローカルにデプロイ可能であるため、データプライバシーが最重要視される臨床NLP用途に適している。