[論文レビュー] ChatGPT-HealthPrompt. Harnessing the Power of XAI in Prompt-Based Healthcare Decision Support using ChatGPT

Fatemeh Nazary, Yashar Deldjoo+1 more|arXiv (Cornell University)|Aug 17, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本稿では、OpenAIのChatGPTのプロンプト工学に、解釈可能な機械学習モデル（例：XGBoost）からのドメイン知識を統合することで、臨床意思決定支援を向上させる新規フレームワークであるChatGPT-HealthPromptを提案する。特徴量の重要度のインサイトを文脈的プロンプトとして組み込むことで、少ないデータ環境下でも従来の教師ありモデルと同等のFew-shot性能を達成し、AI補強型プロンプト設計が医療分野の応用における正確性と解釈可能性を顕著に向上させることを示している。

ABSTRACT

This study presents an innovative approach to the application of large language models (LLMs) in clinical decision-making, focusing on OpenAI's ChatGPT. Our approach introduces the use of contextual prompts-strategically designed to include task description, feature description, and crucially, integration of domain knowledge-for high-quality binary classification tasks even in data-scarce scenarios. The novelty of our work lies in the utilization of domain knowledge, obtained from high-performing interpretable ML models, and its seamless incorporation into prompt design. By viewing these ML models as medical experts, we extract key insights on feature importance to aid in decision-making processes. This interplay of domain knowledge and AI holds significant promise in creating a more insightful diagnostic tool. Additionally, our research explores the dynamics of zero-shot and few-shot prompt learning based on LLMs. By comparing the performance of OpenAI's ChatGPT with traditional supervised ML models in different data conditions, we aim to provide insights into the effectiveness of prompt engineering strategies under varied data availability. In essence, this paper bridges the gap between AI and healthcare, proposing a novel methodology for LLMs application in clinical decision support systems. It highlights the transformative potential of effective prompt design, domain knowledge integration, and flexible learning approaches in enhancing automated decision-making.

研究の動機と目的

• 微調整を行わずに、ChatGPTのような大規模言語モデルを用いたバイナリ分類の臨床意思決定支援における実現可能性を調査すること。
• 解釈可能な機械学習モデル（例：XGBoost、ランダムフォレスト）からのドメイン固有の知識を統合することで、医療分野におけるプロンプトベースの推論性能がどのように向上するかを検討すること。
• 医療分類タスクにおける性能、信頼性、誤りプロファイル（FP/FN）の観点から、ゼロショットとFew-shotのプロンプト戦略を比較すること。
• エキスパートが導出したインサイトを用いたプロンプト工学が、とくにデータが乏しい環境下で、LLMと従来の教師ありモデルとの性能格差を縮小できるかどうかを評価すること。
• LLMベースの診断システムにおける偽陽性と偽陰性のトレードオフを評価し、臨床的安全性に与える影響を検討すること。

提案手法

• 本手法は、タスクの説明、入力特徴の説明、および訓練済みの解釈可能な機械学習モデル（例：XGBoost、ランダムフォレスト、ロジスティック回帰）から抽出したドメイン知識を含む文脈的プロンプトを構築する。
• ドメイン知識は、訓練済みの解釈可能なモデルからの特徴量の重要度スコア（MLFI）および順序付き特徴量の重要度（MLFI-ord）から得られ、これらは推論のヒントとしてプロンプトに埋め込まれる。
• 本フレームワークは、プロンプトに8つまたは16個のアノテート済み例を含めるFew-shotプロンプトを採用しており、それぞれが臨床的特徴とバイナリアウトカム（例：心疾患の有無／無し）を含むケースナラティブとしてフォーマットされている。
• ゼロショットプロンプトは、例なしでタスク指示と入力を提供する基準となる手法である。
• 性能評価には、複数のプロンプトバージョンおよびモデル設定において、標準的な指標（正確性、F1スコア、適合率、再現率、偽陽性／偽陰性率）が用いられる。
• 本手法は、訓練済みの解釈可能なモデルを「医療エキスパート」として扱い、そのアクション可能なインサイトを抽出し、人間が理解可能な形式でLLMの推論プロセスをガイドする。

Figure 1 : Flowchart illustrating the conceptual framework of the paper

実験結果

リサーチクエスチョン

• RQ1 解釈可能な機械学習モデルから抽出したドメイン知識が、LLMにおけるFew-shotプロンプトベースの推論性能を顕著に向上させることができるか？
• RQ2 データ可用性の変動に応じて、ゼロショットおよびFew-shotプロンプティングにおけるChatGPTの性能が、従来の教師あり機械学習モデルと比較してどうなるか？
• RQ3 XGBoostおよびその他のモデルからの特徴量の重要度と順序付き特徴量の重要度を統合することで、LLMが生成する予測の信頼性と解釈可能性にどのような影響を与えるか？
• RQ4 LLMベースのプロンプティングと古典的MLモデルとの間で、偽陽性および偽陰性率はどのように異なるか。また、これらの誤りプロファイルは臨床的意義にどのような影響を及えるか？
• RQ5 エキスパートが導出したインサイトを用いたプロンプト工学により、医療分野におけるLLMアプリケーションのデータ依存性はどの程度低減可能か？

主な発見

• 16個の例を用いたFew-shot状況では、ChatGPT-HealthPromptは平均F1スコア0.8193を達成し、一部の設定では従来の教師ありモデルの性能に近いかそれを上回った。
• MLFIおよびMLFI-ord特徴を用いたドメイン知識の統合によりモデル性能が向上し、XGBoostから得たインサイトをプロンプトに組み込んだ場合、最高のF1スコアは0.9267に達した。
• ゼロショットベースラインと比較して、ChatGPTは顕著に優れた性能を示し、16個の例を用いた場合、平均F1スコアはゼロショットの0.7608から0.8193に上昇した。
• Few-shot設定では古典的モデルと比較して偽陽性率（FP）が高かったが（平均11.54）、偽陰性率は低く保たれたことから、高リスク診断においてより安全な誤りプロファイルを示した。
• XGBoostベースのプロンプトに16個の例を用いた場合、正確性は最大0.9428、F1スコアは0.9428に達し、データが乏しい状況下でも強力な性能を示した。
• プロンプトに順序付き特徴量の重要度（MLFI-ord）を組み込むことで、全設定の中で最高のF1スコア（0.9267）が達成され、特徴量の構造的順序付けがLLMの推論を強化することを示した。