[論文レビュー] Developing a general-purpose clinical language inference model from a large corpus of clinical notes

Madhumita Sushil, Dana Ludwig+2 more|arXiv (Cornell University)|Oct 12, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、UCSFの7500万件の脱識別化された臨床ノートを用いて、ドメイン固有の語彙とBERTアーキテクチャを用いて訓練された汎用的臨床言語推論モデルを紹介する。このモデルは公開ベンチマークで最先端の性能を達成し、特に長文において顕著に優れた性能を示す。これは、大規模かつドメイン特化した事前学習が、文書エンコーディングと推論の正確性を向上させることを示している。

ABSTRACT

Several biomedical language models have already been developed for clinical language inference. However, these models typically utilize general vocabularies and are trained on relatively small clinical corpora. We sought to evaluate the impact of using a domain-specific vocabulary and a large clinical training corpus on the performance of these language models in clinical language inference. We trained a Bidirectional Encoder Decoder from Transformers (BERT) model using a diverse, deidentified corpus of 75 million deidentified clinical notes authored at the University of California, San Francisco (UCSF). We evaluated this model on several clinical language inference benchmark tasks: clinical and temporal concept recognition, relation extraction and medical language inference. We also evaluated our model on two tasks using discharge summaries from UCSF: diagnostic code assignment and therapeutic class inference. Our model performs at par with the best publicly available biomedical language models of comparable sizes on the public benchmark tasks, and is significantly better than these models in a within-system evaluation on the two tasks using UCSF data. The use of in-domain vocabulary appears to improve the encoding of longer documents. The use of large clinical corpora appears to enhance document encoding and inferential accuracy. However, further research is needed to improve abbreviation resolution, and numerical, temporal, and implicitly causal inference.

研究の動機と目的

• ドメイン固有の語彙と大規模な臨床コーパスが臨床言語推論モデルの性能に与える影響を評価すること。
• 多様な臨床NLPタスクを処理できる汎用的臨床言語モデルの開発。
• ドメイン特化した事前学習により、長文の臨床ノートにおける文書エンコーディングと推論の正確性を向上させること。
• 診断コード割り当てと治療分類推論の両方のタスクにおいて、公開ベンチマークとUCSF内での臨床データを用いたモデル性能の評価。
• 将来の改善のための限界としての省略語解釈、数値推論、時系列推論、因果推論の問題点の特定。

提案手法

• UCSFの7500万件の脱識別化された臨床ノートからなるコーパスを用いて、BERTアーキテクチャに基づく双方向エンコーダーデコーダーを微調整した。
• 医療用語に特化したドメイン固有の語彙を採用し、医学的概念のエンコーディングを向上させた。
• 大規模な臨床コーパスで事前学習することで、長文臨床文書の文脈的理解を強化した。
• 臨床的および時系列的概念認識、関係抽出、医療言語推論を含む、公開ベンチマークでの性能評価を行った。
• 2つの下流タスク、診断コード割り当てと治療分類推論のシステム内評価を、UCSFの退院要約を用いて実施した。
• 公開データセットおよび内部データセットの両方で、同サイズの最先端の生物医学的言語モデルと比較してモデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の語彙を使用することで、特に長文において臨床言語推論の性能が向上するか？
• RQ2 大規模な臨床コーパスで学習させることで、文書エンコーディングと推論の正確性にどのような影響を与えるか？
• RQ3 汎用的臨床言語モデルは、公開ベンチマークと機関固有の臨床タスクの両方で、既存のモデルを上回る性能を示せるか？
• RQ4 現在の臨床言語モデルにおける主な限界、特に省略語解釈と因果的推論に関しては何か？
• RQ5 ドメイン特化した事前学習は、診断コード割り当てや治療分類推論のような下流の臨床NLPタスクにおける性能向上にどの程度寄与するか？

主な発見

• 標準的な公開ベンチマークタスクにおいて、本モデルは公開利用可能な最高水準の生物医学的言語モデルと同等の性能を示した。
• UCSFの退院要約を用いた内部評価において、診断コード割り当てと治療分類推論の両タスクで、既存のモデルを顕著に上回った。
• ドメイン固有の語彙の使用により、長文の臨床文書のエンコーディングが向上し、文脈理解が強化された。
• 大規模な臨床コーパスによる学習は、特に複雑な臨床文脈において、文書レベルのエンコーディングと推論の正確性を顕著に向上させた。
• 省略語解釈、数値推論、時系列推論、および暗黙的な因果推論において、顕著な限界が見られ、今後の研究の方向性を示唆した。
• 結果から、多様で大規模な臨床コーパスを用いたドメイン特化した事前学習が、高精度な臨床言語理解のための鍵であることが示唆された。