[論文レビュー] Evaluation of ChatGPT Family of Models for Biomedical Reasoning and Classification

Shan Chen, Yingya Li+5 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling参考文献 27被引用数 19

ひとこと要約

研究は ChatGPT モデル（GPT-3.5、GPT-4）を生物医科学分類と推論タスクで評価し、10,000 を超える代理サンプルを用いて、ファインチューニングと伝統的モデルが最大の LLM の prompting よりも性能を上回ることが多いことを示す。BoW とロジスティック回帰は複雑な prompting パフォーマンスと同等であり、プロンプト設計には相当な労力が必要である。

ABSTRACT

Recent advances in large language models (LLMs) have shown impressive ability in biomedical question-answering, but have not been adequately investigated for more specific biomedical applications. This study investigates the performance of LLMs such as the ChatGPT family of models (GPT-3.5s, GPT-4) in biomedical tasks beyond question-answering. Because no patient data can be passed to the OpenAI API public interface, we evaluated model performance with over 10000 samples as proxies for two fundamental tasks in the clinical domain - classification and reasoning. The first task is classifying whether statements of clinical and policy recommendations in scientific literature constitute health advice. The second task is causal relation detection from the biomedical literature. We compared LLMs with simpler models, such as bag-of-words (BoW) with logistic regression, and fine-tuned BioBERT models. Despite the excitement around viral ChatGPT, we found that fine-tuning for two fundamental NLP tasks remained the best strategy. The simple BoW model performed on par with the most complex LLM prompting. Prompt engineering required significant investment.

研究の動機と目的

• ChatGPT ファミリーの生物医療推論能力を QA 以外の領域で評価する。
• データプライバシー制約により代理サンプルを用いて2つの基本的な臨床 NLP タスクを評価する。
• 生物医療タスクにおいて LLM の prompting と従来モデルおよびファインチューニングベースのベースラインを比較する。
• 生物医療テキストタスクでの LLM の導入に関するベストプラクティスを示す。

提案手法

• 臨床分類と因果関係タスクの代理として 10,000 件超のサンプルを使用する。
• 2つのタスク： (1) 文献中の記述が health advice であるかを分類する；(2) 生物医療文献における因果関係を検出する。
• ChatGPT 系列（GPT-3.5s、GPT-4）をベースラインモデル（BoW with logistic regression、fine-tuned BioBERT）と比較する。
• 公的 OpenAI API に患者データを渡さない。評価には代理データを用いる。
• LLM の性能に対するプロンプト設計の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT モデルは科学文献における記述を health advice として正確に分類できるか。
• RQ2 ChatGPT モデルは生物医療文献における因果関係を検出できるか。
• RQ3 これらのタスクにおいて ChatGPT モデルは BoW ロジスティック回帰およびファインチューニング済み BioBERT とどのように比較されるか。
• RQ4 プロンプト設計の労力は従来モデルのファインチューニングと比較してどの程度か。

主な発見

• 2つのNLPタスクに対するファインチューニングが、比較対象の中で最良の戦略として残る。
• BoW とロジスティック回帰は、最も複雑な LLM prompting 戦略と同等の性能を発揮する。
• プロンプト設計には競争力のある性能に達するための相当な投資が必要。
• タスク固有のファインチューニングなしの ChatGPT モデルは一般にファインチューニング済みの BioBERT ベースラインを下回る。
• 全体として、古典的な NLP アプローチは、これらの生物医療タスクにおける prompting ベースの LLM の性能に対して rival またはそれを上回ることができる。