[論文レビュー] Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers

Israt Jahan, Md Tahmid Rahman Laskar+2 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、微調整されたモデル（例：BioGPT や BioBART）と比較して、ChatGPT がバイオメディカル NLP タスク（関係抽出、質問応答、ドキュメント分類、要約）におけるゼロショット性能を評価している。驚くべきことに、訓練データが少ないデータセットでは、微調整を行わない状態でも ChatGPT がこれらの専門的モデルを上回る性能を示しており、微調整なしで低リソースなバイオメディカル環境においても強力な few-shot 一般化能力を有していることが示された。

ABSTRACT

ChatGPT is a large language model developed by OpenAI. Despite its impressive performance across various tasks, no prior work has investigated its capability in the biomedical domain yet. To this end, this paper aims to evaluate the performance of ChatGPT on various benchmark biomedical tasks, such as relation extraction, document classification, question answering, and summarization. To the best of our knowledge, this is the first work that conducts an extensive evaluation of ChatGPT in the biomedical domain. Interestingly, we find based on our evaluation that in biomedical datasets that have smaller training sets, zero-shot ChatGPT even outperforms the state-of-the-art fine-tuned generative transformer models, such as BioGPT and BioBART. This suggests that ChatGPT's pre-training on large text corpora makes it quite specialized even in the biomedical domain. Our findings demonstrate that ChatGPT has the potential to be a valuable tool for various tasks in the biomedical domain that lack large annotated data.

研究の動機と目的

• 微調整なしで、ChatGPT のベンチマークバイオメディカル NLP タスクにおけるゼロショット性能を評価すること。
• ChatGPT の性能を、BioGPT や BioBART のような最先端の微調整済み生成モデルと比較すること。
• 幅広いコーパスで事前学習された大規模言語モデル（LLM）が、リソースが限られたバイオメディカル環境でも効果的に一般化できるかどうかを調査すること。
• アノテーション済みバイオメディカルデータが不足する状況において、ゼロショット LLM が実用的な代替手段となり得るかを評価すること。
• すべての ChatGPT 生成出力と評価コードを公開することで、再現性を確保すること。

提案手法

• プロンプト工学を用いて、関係抽出、質問応答、ドキュメント分類、要約の4つのバイオメディカルタスクにおける ChatGPT のゼロショット推論を実施。
• 各タスクに適したプロンプトを丁寧に設計し、必要に応じて指示テンプレートと few-shot 例を含めた。
• 標準ベンチマークデータセット（BC5CDR, KD-DTI, DDI, HoC, PubMedQA, iCliniq, HealthCare Magic, MeQSum, MEDIQA-QS, MEDIQA-MAS, MEDIQA-ANS）を用いて評価を実施。
• F1スコア、正答率、要約タスクでは ROUGE を用いた標準指標で性能を測定。
• 直接比較が可能となるよう、同じ評価条件下で微調整済みモデル（BioGPT, BioBART）をベースラインとして使用。
• すべての出力と評価コードを公開し、再現性を確保するとともに、今後の研究を促進することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は、微調整なしでゼロショット設定においてバイオメディカル NLP タスクを効果的に実行できるか？
• RQ2 ChatGPT のゼロショット性能は、BioGPT や BioBART のような最先端の微調整済み生成モデルと比べてどうか？
• RQ3 ChatGPT の性能は、異なるバイオメディカルタスクやデータセットサイズによって顕著に変化するか？
• RQ4 訓練データが少ない低リソース環境では、ゼロショット LLM が微調整済みモデルを上回ることができるか？
• RQ5 アノテーション済みデータが限られるバイオメディカル応用分野において、事前学習済み LLM（例：ChatGPT）の潜在的価値は何か？

主な発見

• ChatGPT は、訓練データが少ないバイオメディカルデータセットにおいて、微調整済みモデル（例：BioGPT や BioBART）を上回る優れた性能を示した。
• BC5CDR データセット（学習サンプル 500 個）では、化学物質-疾患関係抽出タスクで、ChatGPT が微調整済みモデルを上回った。
• HoC ドキュメント分類タスクでは、タスク固有の微調整なしでも、ChatGPT が強いゼロショット正答率を達成した。
• PubMedQA 質問応答ベンチマークでは、ChatGPT が事実の整合性が高く、質の高い回答を生成した。
• 対話要約タスク（iCliniq および HealthCare Magic）では、ChatGPT が一貫性があり情報量の多い要約を生成し、ROUGE スコアも競争力を持っていた。
• これらの結果から、ChatGPT が多様なテキストコーパスで広範に事前学習されていることにより、専門的なバイオメディカル文脈においても強力なドメイン内一般化能力を発揮できることが示唆された。