[論文レビュー] A Study of Generative Large Language Model for Medical Research and Healthcare

Cheng Peng, Xi Yang+17 more|arXiv (Cornell University)|May 22, 2023

Artificial Intelligence in Healthcare and Education被引用数 16

ひとこと要約

本論文は臨床分野の生成型LLMであるGatorTronGPTを、277B語のデータで学習し、20Bパラメータを持つモデルとして開発し、合成NLPモデルが実世界の臨床テキストモデルを上回る一方で、医師がチューリングテストにおいてAIと人間を区別できないことを示している。

ABSTRACT

There is enormous enthusiasm and concerns in using large language models (LLMs) in healthcare, yet current assumptions are all based on general-purpose LLMs such as ChatGPT. This study develops a clinical generative LLM, GatorTronGPT, using 277 billion words of mixed clinical and English text with a GPT-3 architecture of 20 billion parameters. GatorTronGPT improves biomedical natural language processing for medical research. Synthetic NLP models trained using GatorTronGPT generated text outperform NLP models trained using real-world clinical text. Physicians Turing test using 1 (worst) to 9 (best) scale shows that there is no significant difference in linguistic readability (p = 0.22; 6.57 of GatorTronGPT compared with 6.93 of human) and clinical relevance (p = 0.91; 7.0 of GatorTronGPT compared with 6.97 of human) and that physicians cannot differentiate them (p < 0.001). This study provides insights on the opportunities and challenges of LLMs for medical research and healthcare.

研究の動機と目的

• 一般用途のLLMを超える医療研究と医療現場における大規模言語モデルの活用を動機づける。
• 大規模な臨床データと英語データを混在させて医療テキストに適した臨床生成型LLM（GatorTronGPT）を開発する。
• 生物医療NLPタスクにおけるGatorTronGPTの性能を評価し、合成モデルと実世界の臨床テキストモデルを比較する。
• チューリングテスト風の評価を通じて医師によるAI生成医療テキストの認識を評価する。

提案手法

• 20 billion parameters の GPT-3 アーキテクチャでGatorTronGPTを構築する。
• 277 billion words の混在臨床・英語テキストのコーパスで学習する。
• 生物医療タスクにおけるNLP性能を評価し、実臨床テキストで学習したモデルと比較する。
• GatorTronGPT のテキストを用いて合成NLPモデルを生成し、実臨床データで学習したモデルとベンチマークする。
• 言語的読みやすさと臨床的関連性について医師によるチューリングテスト風の評価を実施し、1–9スケールを用いる。

実験結果

リサーチクエスチョン

• RQ1 混在臨床データと英語データで訓練された臨床生成型LLMは、実世界の臨床テキストのみで訓練されたモデルを生物医療NLPタスクで上回ることができるか？
• RQ2 AI生成の医療テキスト出力は、医師にとって読みやすさと臨床的関連性の点で人間作成テキストと区別がつかないか？
• RQ3 経験的評価に基づく医療研究と医療現場でのLLM展開の機会と課題は何か？

主な発見

• GatorTronGPT生成テキストで訓練した合成NLPモデルは、実世界の臨床テキストで訓練したNLPモデルを上回る。
• 医師のチューリングテスト結果は、GatorTronGPT (6.57) と human (6.93) の文体的読みやすさに有意差がないことを示している（p = 0.22）。
• 同様に臨床的関連性には有意差がない（GatorTronGPT (7.0) vs human (6.97)、p = 0.91）。
• 医師はAI生成と人間作成の出力を信頼性高く区別できない（p < 0.001）。