[論文レビュー] Identifying and Extracting Rare Disease Phenotypes with Large Language Models

Cathy Shyr, Yan Hu+2 more|arXiv (Cornell University)|Jun 22, 2023

Genomics and Rare Diseases参考文献 35被引用数 5

ひとこと要約

本研究では、ChatGPTを用いたゼロショットおよびフェイントショットプロンプト学習が、非構造化臨床テキストからの希少疾患の発現型抽出に与える影響を評価し、ファインチューニング済みBioClinicalBERTと比較した。全体的な性能はやや低い（F1 0.472–0.591 対 0.689）が、1ショット設定では希少疾患および兆候においてファインチューニング済みモデルを上回り、F1 0.776および0.725を達成した。これは、最小限のラベル付きデータで低リソースの発現型抽出に向けた可能性を示している。

ABSTRACT

Rare diseases (RDs) are collectively common and affect 300 million people worldwide. Accurate phenotyping is critical for informing diagnosis and treatment, but RD phenotypes are often embedded in unstructured text and time-consuming to extract manually. While natural language processing (NLP) models can perform named entity recognition (NER) to automate extraction, a major bottleneck is the development of a large, annotated corpus for model training. Recently, prompt learning emerged as an NLP paradigm that can lead to more generalizable results without any (zero-shot) or few labeled samples (few-shot). Despite growing interest in ChatGPT, a revolutionary large language model capable of following complex human prompts and generating high-quality responses, none have studied its NER performance for RDs in the zero- and few-shot settings. To this end, we engineered novel prompts aimed at extracting RD phenotypes and, to the best of our knowledge, are the first the establish a benchmark for evaluating ChatGPT's performance in these settings. We compared its performance to the traditional fine-tuning approach and conducted an in-depth error analysis. Overall, fine-tuning BioClinicalBERT resulted in higher performance (F1 of 0.689) than ChatGPT (F1 of 0.472 and 0.591 in the zero- and few-shot settings, respectively). Despite this, ChatGPT achieved similar or higher accuracy for certain entities (i.e., rare diseases and signs) in the one-shot setting (F1 of 0.776 and 0.725). This suggests that with appropriate prompt engineering, ChatGPT has the potential to match or outperform fine-tuned language models for certain entity types with just one labeled sample. While the proliferation of large language models may provide opportunities for supporting RD diagnosis and treatment, researchers and clinicians should critically evaluate model outputs and be well-informed of their limitations.

研究の動機と目的

• 大規模言語モデル、特にChatGPTのゼロショットおよびフェイントショット設定における希少疾患の発現型抽出性能を評価すること。
• ChatGPTの名前付きエンティティ認識（NER）性能を、希少疾患の発現型についてファインチューニング済みBioClinicalBERTとベンチマークすること。
• 適切なプロンプト設計が、最小限のラベル付き例で特定のエンティティタイプに対してファインチューニング済みモデルと同等または上回る性能を達成できるかどうかを調査すること。
• 希少疾患の発現型抽出における生成的LLMを事前注釈ツールとして使用する基盤を提供することにより、人的なクリーニング作業の負担を軽減すること。

提案手法

• 希少疾患、疾患、兆候、症状の4つのエンティティタイプを抽出する目的で、カスタムプロンプトを用いて名前付きエンティティ認識（NER）をテキスト生成タスクに再定式化した。
• ゼロショットおよびフェイントショット推論のための文単位のプロンプトを設計し、複雑なリスト形式を避けることで計算コストを低減し、性能を向上させた。
• RareDisコーパスのサブセット（832件）を用いて、ChatGPTの性能を正確一致および部分一致基準で評価した。
• 同じテストセットでF1スコア0.689を達成したファインチューニング済みBioClinicalBERTモデルと比較した。
• 境界エラーおよび曖昧またはネストされた発現型記述に起因する誤検出・欠落エンティティなど、失敗モードを詳細に分析した。
• 標準的なNLP評価指標（適合率、再現率、F1）を用い、エンティティタイプおよびエラー種別（境界、誤検出、欠落）によるエラー分類を実施した。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、ChatGPTがゼロショットおよびフェイントショット設定において希少疾患の発現型抽出で競争力のある性能を達成できるか？
• RQ2 プロンプト設計が、生物医学的NERタスクにおける生成的LLMの性能に顕著な影響を与えるか？
• RQ3 どのエンティティタイプ（例：希少疾患、兆候、症状）において、ChatGPTが低データ環境下でファインチューニング済みモデルを上回るか？
• RQ4 LLMベースの発現型抽出における主なエラーパターンは何か？また、臨床テキストの複雑さとどのように関連しているか？

主な発見

• ファインチューニング済みBioClinicalBERTが、全体的なF1スコア（0.689）で最高を記録し、ゼロショットおよびフェイントショットのChatGPT設定を上回った。
• 1ショット設定では、ChatGPTが希少疾患でF1スコア0.776、兆候で0.725を達成し、これらの特定のエンティティタイプにおいてファインチューニング済みBioClinicalBERTを上回った。
• ChatGPTは、事前注釈の可能性が高く、ゼロショット設定で希少疾患でF1スコア0.761、兆候で0.627を達成した。
• 境界エラーおよび誤検出・欠落エンティティが最も一般的なエラー種別であり、特に兆候および症状において、複雑または曖昧な臨床記述に起因して発生した。
• 文単位のプロンプトは、リストベースのプロンプトを上回るか同等の性能を示し、計算コストも低減した。これは、本タスクにおいてより効果的かつ効率的であることを示唆している。
• 全体的な性能は低かったが、適切なプロンプト設計により、生成的LLMであるChatGPTが、低リソース環境下で特定の希少疾患エンティティタイプについて、ファインチューニング済みモデルと同等または上回る性能を達成できることが示された。