[論文レビュー] SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization

Yu-Neng Chuang, Ruixiang Tang+2 more|arXiv (Cornell University)|Mar 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いた臨床ノート要約における性能ばらつきを低減するモデルに依存しないソフトプロンプトベースのキャリブレーションフレームワーク、SPeCを提案する。離散的プロンプトと埋め込み空間内で相互作用する学習可能なインディストリビューション・ソフトプロンプトを用いることで、Flan-T5上で出力ばらつきを最大43.1％まで低減し、トレーニング中にゴールドスタンダードのリファレンスを必要とせずに、より一貫性があり信頼性の高い医療要約を実現する。

ABSTRACT

Electronic health records (EHRs) store an extensive array of patient information, encompassing medical histories, diagnoses, treatments, and test outcomes. These records are crucial for enabling healthcare providers to make well-informed decisions regarding patient care. Summarizing clinical notes further assists healthcare professionals in pinpointing potential health risks and making better-informed decisions. This process contributes to reducing errors and enhancing patient outcomes by ensuring providers have access to the most pertinent and current patient data. Recent research has shown that incorporating prompts with large language models (LLMs) substantially boosts the efficacy of summarization tasks. However, we show that this approach also leads to increased output variance, resulting in notably divergent outputs even when prompts share similar meanings. To tackle this challenge, we introduce a model-agnostic Soft Prompt-Based Calibration (SPeC) pipeline that employs soft prompts to diminish variance while preserving the advantages of prompt-based summarization. Experimental findings on multiple clinical note tasks and LLMs indicate that our method not only bolsters performance but also effectively curbs variance for various LLMs, providing a more uniform and dependable solution for summarizing vital medical information.

研究の動機と目的

• 臨床ノート要約のための手動で設計されたインstructプロンプトを用いたLLM生成要約における高い性能ばらつきを是正すること。
• わずかなプロンプトの変化が顕著に異なる要約出力をもたらす原因となる不安定性を克服すること。
• プロンプトベース要約の利点を維持しながら、異なるLLM間で一貫性を向上させるモデルに依存しないキャリブレーション手法を開発すること。
• プロンプト工学の選択に対する感受性を低減させることで、NLP専門家でないユーザーがLLMを信頼できて、安定して使えるようにすること。
• トレーニング中にゴールドスタンダード要約を必要としないゼロショットの手法とし、医療現場での実用的利便性を高めること。

提案手法

• トークン埋め込み空間で離散的インstructプロンプトと相互作用する学習可能なソフトプロンプトエンコーダーを導入する。
• 性能と安定性を向上させるために、LLMの語彙に属するインディストリビューション・ソフトプロンプトトークンを、アウトオブディストリビューションのトークンではなく採用する。
• 最適化中に真の要約を必要としないゼロショットの方法でソフトプロンプトエンコーダーをトレーニングする。
• LLM出力をキャリブレートするために、ソフトプロンプトパラメータを微調整し、ばらつきを最小化すると同時に、臨床要約タスクにおける平均性能を維持する。
• 放射線画像報告書を含むMIMIC-CXRからの臨床ノートデータセットを含む、複数のLLMおよび臨床要約データセットにSPeCフレームワークを適用する。
• ROUGEスコア（ROUGE-1、ROUGE-2、ROUGE-L）を用いて、平均性能と出力ばらつきの低減を評価する。

実験結果

リサーチクエスチョン

• RQ1 ソフトプロンプトベースのキャリブレーションは、標準的な離散的プロンプトと比較して、LLMが生成する臨床ノート要約における性能ばらつきをどの程度低減するか？
• RQ2 ソフトプロンプトトークンの分布の選択（インディストリビューション対アウトオブディストリビューション）が、要約性能およびばらつき低減に与える影響は何か？
• RQ3 トレーニング中にゴールドスタンダード要約を必要としないゼロショットで、モデルに依存しないソフトプロンプトキャリブレーションフレームワークは、高品質な要約を維持できるか？
• RQ4 SPeCは、異なるLLM間で一貫性を向上させるとともに、臨床ノート要約タスクにおける平均性能を維持または向上させることができるか？
• RQ5 MIMIC-CXRのような実世界の臨床データセット、特に放射線画像報告書のような標準化されたレポートにおいて、SPeCはばらつき低減にどの程度効果的か？

主な発見

• インディストリビューション・ソフトプロンプトトークンを用いた場合、Flan-T5モデル上で出力ばらつきが最大43.1％まで低減され、一貫性が著しく向上した。
• インディストリビューション・ソフトプロンプトトークンの使用により、ROUGE-1では標準偏差が38.2％、ROUGE-2では38.7％、ROUGE-Lでは43.1％低減され、アウトオブディストリビューション・トークンを上回る性能を示した。
• SPeCは高い平均性能（例：ROUGE-L平均0.4973）を維持しながら、ばらつきを著しく低減した（標準偏差は0.0079から0.0045に低下）。
• アウトオブディストリビューション・ソフトプロンプトでも、ばらつきは19.7％から22.5％低減されるが、インディストリビューション・トークンを用いた場合に比べて一貫して性能が低い。
• 本フレームワークは複数のLLMおよび臨床要約タスクで有効であり、汎用性と頑健性を示した。
• SPeCはトレーニング中にゴールドスタンダード要約を必要とせず、実用的で信頼性の高い要約を実現でき、医療現場への実装に適している。