[論文レビュー] PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain

Wei Zhu, Xiaoling Wang+3 more|arXiv (Cornell University)|Oct 22, 2023

Topic Modeling被引用数 4

ひとこと要約

PromptCBLUEは、中国語のプロンプトチューニングベンチマークとして、医療NLP分野における大規模言語モデル（LLM）のマルチタスク能力を、医療エンティティ認識、テキスト分類、自然言語推論、対話理解、生成の分野で評価するための、CBLUEベンチマークの再考である。本研究では、ファインチューニングを施したオープンソースLLMが一部のタスクでGPT-4でさえも上回ることを示しており、チェーン・オブ・チーズ（CoT）プロンプトと構造化出力設計が性能向上に顕著に寄与することを明らかにした。

ABSTRACT

Biomedical language understanding benchmarks are the driving forces for artificial intelligence applications with large language model (LLM) back-ends. However, most current benchmarks: (a) are limited to English which makes it challenging to replicate many of the successes in English for other languages, or (b) focus on knowledge probing of LLMs and neglect to evaluate how LLMs apply these knowledge to perform on a wide range of bio-medical tasks, or (c) have become a publicly available corpus and are leaked to LLMs during pre-training. To facilitate the research in medical LLMs, we re-build the Chinese Biomedical Language Understanding Evaluation (CBLUE) benchmark into a large scale prompt-tuning benchmark, PromptCBLUE. Our benchmark is a suitable test-bed and an online platform for evaluating Chinese LLMs' multi-task capabilities on a wide range bio-medical tasks including medical entity recognition, medical text classification, medical natural language inference, medical dialogue understanding and medical content/dialogue generation. To establish evaluation on these tasks, we have experimented and report the results with the current 9 Chinese LLMs fine-tuned with differtent fine-tuning techniques.

研究の動機と目的

• 中国語医療LLM向けに、高品質で漏洩のないマルチタスクベンチマークが不足しているという問題に対処すること。
• 既存のベンチマークが英語限定であること、知識の探査に特化していること、または事前学習データに汚染されているという制限を克服すること。
• プロンプトチューニングを用いた中国語医療LLMのための標準的でオンラインの評価プラットフォームを確立すること。
• 最先端の中国語LLMとファインチューニング手法を用いて、多様な医療NLPタスクにおける包括的なベースライン評価を提供すること。

提案手法

• CBLUEベンチマークを、82,600件のサンプルを含む5つの医療NLPタスクに特化したプロンプトチューニング向けデータセットに再構築した。
• テストセットのラベルを非公開・非公開化することで、データ漏洩を防止し、一般化評価を確保した。
• オンラインプラットフォームにベンチマークをホスティングし、リアルタイムでのモデル評価を可能にするリーダーボード機能を提供した。
• P-tuning, P-tuning-v2, Adapter, LoRA, AdaLoRAの5つのプロンプトチューニング技術を、一貫したハイパーパrameterを用いて適用した。
• すべての手法で統一された学習設定を採用：バッチサイズ64、初期値の学習率3e-4、重み減衰1e-4、AdamWオプティマイザー、線形スケジュールの学習率スケジューリング。
• 最良の推論品質を得るために、検証損失が最小値を示してから200ステップ後のモデルチェックポイントを選択した。

Figure 1: The confusion matrix of the LLM on the KUAKE-QIC test set.

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニングは、多様なバイオメディカルNLPタスクにわたる中国語医療LLMのマルチタスク能力を効果的に評価できるか？
• RQ2 ファインチューニングを施したオープンソースLLMは、GPT-4のような特許権を持つモデルと比較して、中国語医療推論および抽出タスクでどのように性能を発揮するか？
• RQ3 チェーン・オブ・チーズ（CoT）プロンプトと構造化出力フォーマットは、医療情報抽出タスクでの性能向上にどの程度寄与するか？
• RQ4 現在のFew-shotプロンプトチューニング環境下で、医療ドメインデータに対するさらなる事前学習がLLMの性能を顕著に向上させるのか？
• RQ5 LLMは医療対話および推論タスクでどのような失敗パターンを示し、それらをどのように是正できるか？

主な発見

• ファインチューニングを施したオープンソースLLMが、PromptCBLUEベンチマークの複数のタスクでChatGPTおよびGPT-4を上回った。これは、モデル規模が大きくなってもファインチューニングが依然として不可欠であることを示唆している。
• チェーン・オブ・チーズ（CoT）プロンプトと明示的な出力フォーマット設計が、医療エンティティ認識および情報抽出タスクでの性能向上に顕著に寄与した。
• 医療ドメインデータに対するさらなる事前学習は、一貫した性能向上をもたらさず、BERT時代の研究結果とは対照的であった。
• 最も優れたモデルは、PromptCBLUEベンチマーク全体で71.10のテストF1スコアを達成し、タスク別では27.71（MedDG）から105.08（S-V2-MRG）の範囲にわたった。
• 事例研究から、LLMは複雑な推論や対話の整合性にしばしば失敗し、特に矛盾する症状を含む複数ターンの医療相談では顕著に問題を示すことが判明した。
• 本ベンチマークは、コードとオンライン評価プラットフォームを併せて公開しており、継続的な研究とコミュニティ貢献を支援する。