[論文レビュー] The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

Tassallah Abdullahi, Shrestha Ghosh+6 more|arXiv (Cornell University)|Jan 8, 2026

Persona Design and Applications被引用数 0

ひとこと要約

この研究は、医療ペルソナ（専門職ロールと相互作用スタイル）が臨床LLMをトリアージと患者安全タスク全般にどう影響するかを系統的に評価し、治理レベルのプロンプトが必ずしも安全性や専門知識を保証しない、文脈依存かつ非単調な効果を明らかにします。

ABSTRACT

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to $\sim+20\%$ in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's $κ= 0.43$) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

研究の動機と目的

• 専門職ロール（ED医師/看護師）と相互作用スタイル（大胆/慎重）をペルソナとして導入すると、LLMの臨床意思決定にどのような影響を与えるかを調査する。
• ペルソナ条件付けが、タスク性能、較正、整合性、リスク行動にどのように影響するかを高リスク臨床タスクで特徴づける。
• 臨床LLMにおけるペルソナ priors によって生じる安全性に関連するトレードオフを評価するための多次元評価フレームワークを開発する。

提案手法

• 専門職ロールと相互作用スタイルを定義するシステムプロンプトを用いてペルソナを実装する。
• 2つの臨床タスク（緊急トリアージ：高鋭度、初期医療トリアージ：低鋭度）と患者安全遵守タスクを評価する。
• 自動指標（正確さ、リスク傾向、リスク感受性、整合性率、較正）を用いて行動の変化を定量化する。
• 三名のジャッジLLMによる定性的評価と blinded 医師評価を補完し、安全性と推論品質を評価する。
• 医療ペルソナと非医療ペルソナのベースラインを比較し、モデルおよびタスク依存の効果を分析する。

Figure 1: Experimental framework for analyzing personas as behavioral priors in clinical LLMs. Personas are injected via system prompts (A). Models are evaluated on two clinical tasks, yielding decision labels, free-text justifications, and latent logit scores (B). Behavioral effects are quantified

実験結果

リサーチクエスチョン

• RQ1 RQ1: ペルソナ条件付けはトリアージと患者安全タスク全般で臨床パフォーマンスと安全性にどのような影響を与えるか？
• RQ2 RQ2: 相互作用スタイルはモデルのリスク姿勢と関連するトレードオフをどのように変化させるか？
• RQ3 RQ3: LLMジャッジと臨床医はペルソナ誘導差を安全性と推論の観点でどう認識するか？

主な発見

• 医療ペルソナは緊急トリアージの性能を、ベースラインと比較して正確さと較正の最大約20ポイントまで改善する。
• 初期医療トリアージでは、同じ医療ペルソナが文脈依存的な効果を示し、同様の規模で性能を低下させることが多い。
• 相互作用スタイル（大胆/慎重）は、リスク傾向とリスク感受性に非単調でモデル依存の変動を生じさせ、安全姿勢の信頼できる制御機構とは言えない。
• LLMベースのジャッジは安全重要ケースで医療ペルソナを好む傾向があるが、人間の臨床医は多くのケースで安全遵守の一致度が中程度で、推論品質には低い自信しか示さない。
• モデル全体を通じて、医師のペルソナは安全性の認知が高まる傾向を示し、臨床医はこれらの判断に一定の自信を示すが、正当化の品質はタスク間であいまいかつ一貫性がない。
• 総じて、ペルソナは文脈依存の行動 priors として機能し、安全性/専門知識を文脈にトレードオフさせるため、臨床意思決定を普遍的に改善するものではない。

Figure 2: Persona effects on Clinical Triage. Bars show $\Delta$ relative to no‑persona baseline. On average, medical Personas improve emergency performance but degrade primary care performance, with model‑dependent effects on consistency. Arrows represent the directionality of the metric. ’*’ repre