[論文レビュー] Deep Contextualized Biomedical Abbreviation Expansion

Qiao Jin, Liu Jin-ling+1 more|arXiv (Cornell University)|Jun 8, 2019

Biomedical Text Mining and Ontologies参考文献 20被引用数 9

ひとこと要約

本稿では、バイオELMo埋め込みと便宜的バイリバースLSTMを活用して、最先端の性能を達成する、生体医薬品の省略語展開のための深層コンテキストモデルDECBAEを提案する。研究者らは、最初に使用される定義に基づくヒューリスティックを用いて、PubMedの要旨から大規模なトレーニングデータセットを自動的に構築し、96.1%の正確性と91.7%のマクロF1を達成した。これは、臨床省略語ベンチマークにおいて、ベースラインと人間の専門家を上回った。

ABSTRACT

Automatic identification and expansion of ambiguous abbreviations are essential for biomedical natural language processing applications, such as information retrieval and question answering systems. In this paper, we present DEep Contextualized Biomedical. Abbreviation Expansion (DECBAE) model. DECBAE automatically collects substantial and relatively clean annotated contexts for 950 ambiguous abbreviations from PubMed abstracts using a simple heuristic. Then it utilizes BioELMo to extract the contextualized features of words, and feed those features to abbreviation-specific bidirectional LSTMs, where the hidden states of the ambiguous abbreviations are used to assign the exact definitions. Our DECBAE model outperforms other baselines by large margins, achieving average accuracy of 0.961 and macro-F1 of 0.917 on the dataset. It also surpasses human performance for expanding a sample abbreviation, and remains robust in imbalanced, low-resources and clinical settings.

研究の動機と目的

• 定義が明示的に提供されていない文脈において、生体医薬品の省略語を解釈する課題に対処すること。
• PubMedの要旨における最初に使用される定義に基づくヒューリスティックを用いて、自動的に大規模で高品質なトレーニングデータセットを構築すること。
• 多様な生体医薬品の文脈、特に臨床文書においても良好に一般化できる、強力でリソースに余裕のない環境に適したモデルを開発すること。
• 特に曖昧性が高く、ラベルの分布が不均衡な状況において、人間の性能を上回ること。

提案手法

• モデルは、PubMedの要旨において同じ省略語を含む文を抽出するためのヒューリスティックを用い、その省略語の最初に使用された定義を、その後に続くすべてのインスタンスのラベルとして割り当てる。
• 1000万件のPubMed要旨で事前学習された、生体医薬品ドメインに適応したELMoモデルであるバイオELMoを用いて、文脈に依存する単語埋め込みを生成する。
• 各省略語について、その文脈埋め込みをもとに、候補定義の集合から正しい完全形を予測するための別個の双方向LSTM分類器をトレーニングする。
• 推論時、モデルは文全体をバイオELMoで処理し、対応する省略語固有のbiLSTMを適用して解釈を実行する。
• BERTの微調整を避けるために、固定されたバイオELMo埋め込みと、軽量でタスク固有のbiLSTMヘッドを用いることで、ストレージと推論のオーバーヘッドを削減する。
• モデルは、ランダム、不均衡、リソースが限られた、および臨床の4つの設定で評価され、頑健さと一般化性能が示された。

実験結果

リサーチクエスチョン

• RQ1 科学的テキストにおける最初に使用される定義に基づく自己教師ありデータ収集法が、生体医薬品の省略語展開のための信頼性がありスケーラブルなトレーニングデータセットを生成できるか。
• RQ2 非文脈的または一般ドメインの埋め込みと比較して、バイオELMo埋め込みが省略語解釈のパフォーマンスにどの程度向上効果をもたらすか。
• RQ3 自動収集されたデータ上でトレーニングされた省略語固有のbiLSTM分類器を備えたモデルが、複雑で曖昧な生体医薬品の省略語を解釈する際、人間の専門家を上回ることができるか。
• RQ4 一部の定義が著しく不足しているようなリソースが限られた状況や不均衡な設定において、提案手法のモデルはどの程度頑健か。

主な発見

• DECBAEは、主なデータセットにおいて平均正解率0.961、マクロF1 0.917を達成し、すべてのベースラインを顕著に上回った。
• ラベルの大部分が95%以上を占める不均衡な設定においても、DECBAEはマクロF1 0.898を維持し、ベースラインは急激に性能を落とした。
• 臨床サブセットでは、過去の臨床研究から85%の省略語をカバーしているが、平均して1つの省略語あたり8.5個の候補定義がある中で、高いパフォーマンスを達成した。
• 「DAT」のテストケースにおいて、DECBAEは正解率、マクロF1、Cohenのカappa係数のすべての指標で、1人の人間専門家を上回った。
• 混同行列の分析から、DECBAEは人間の専門家よりも誤りが少なく、特に「直接凝集試験」と「直接抗グロブリン試験」の区別において優れた性能を示した。
• 単純なバージョン（バイオELMoに全結合層を適用する）でさえも、十分なパフォーマンスを示しており、リソース制限のある環境での高速推論の可能性を示唆している。