[논문 리뷰] The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

Tassallah Abdullahi, Shrestha Ghosh외 6명|arXiv (Cornell University)|2026. 01. 08.

Persona Design and Applications인용 수 0

한 줄 요약

본 연구는 의료 페르소나(전문 직무와 상호작용 스타일)가 삼진 선별 및 환자 안전 태스크 전반에서 임상 LLM을 어떻게 이끄는지 체계적으로 평가하여, 맥락 의존적이고 비단조적인 효과가 나타나며 거버넌스 수준의 프롬프트가 안전성이나 전문성을 보장하지 않는다는 점을 시사한다.

ABSTRACT

Persona conditioning can be viewed as a behavioral prior for large language models (LLMs) and is often assumed to confer expertise and improve safety in a monotonic manner. However, its effects on high-stakes clinical decision-making remain poorly characterized. We systematically evaluate persona-based control in clinical LLMs, examining how professional roles (e.g., Emergency Department physician, nurse) and interaction styles (bold vs.\ cautious) influence behavior across models and medical tasks. We assess performance on clinical triage and patient-safety tasks using multidimensional evaluations that capture task accuracy, calibration, and safety-relevant risk behavior. We find systematic, context-dependent, and non-monotonic effects: Medical personas improve performance in critical care tasks, yielding gains of up to $\sim+20\%$ in accuracy and calibration, but degrade performance in primary-care settings by comparable margins. Interaction style modulates risk propensity and sensitivity, but it's highly model-dependent. While aggregated LLM-judge rankings favor medical over non-medical personas in safety-critical cases, we found that human clinicians show moderate agreement on safety compliance (average Cohen's $κ= 0.43$) but indicate a low confidence in 95.9\% of their responses on reasoning quality. Our work shows that personas function as behavioral priors that introduce context-dependent trade-offs rather than guarantees of safety or expertise. The code is available at https://github.com/rsinghlab/Persona\_Paradox.

연구 동기 및 목표

• 전문 직무(ED 의사/간호사)와 상호작용 스타일(대담 vs 신중)로 설정된 페르소나가 LLM의 임상 의사결정에 어떤 영향을 미치는지 조사한다.
• 페르소나 조건화가 고위험 임상 태스크에서의 작업 수행, 보정(calibration), 일관성, 위험 행동에 어떤 영향을 미치는지 특성화한다.
• 임상 LLM에서 페르소나 선행조건이 도입하는 안전 관련 절충을 평가하기 위한 다차원 평가 프레임워크를 개발한다.

제안 방법

• 전문 직무 역할과 상호작용 스타일을 정의하는 시스템 프롬프트를 통해 페르소나를 구현한다.
• 두 가지 임상 태스크: 응급 삼진 선별(고위험)과 1차 진료 삼진 선별(저위험) 및 환자 안전 준수 태스크를 평가한다.
• 행동 변화의 정량화를 위해 자동 지표(정확도, 위험 성향, 위험 민감도, 일치율, 보정)를 사용한다.
• 안전 및 추론 품질을 평가하기 위해 세 명의 판단 LLM과 블라인드된 임상 의사가 보완적으로 평가한다.
• 의료 페르소나 대비 비의료 페르소나를 비교하고 모델 및 태스크 의존 효과를 분석한다.

Figure 1: Experimental framework for analyzing personas as behavioral priors in clinical LLMs. Personas are injected via system prompts (A). Models are evaluated on two clinical tasks, yielding decision labels, free-text justifications, and latent logit scores (B). Behavioral effects are quantified

실험 결과

연구 질문

• RQ1 RQ1: 페르소나 조건화가 삼진 분류 및 환자 안전 태스크 전반에서 임상 수행과 안전성에 어떤 영향을 미치는가?
• RQ2 RQ2: 상호작용 스타일이 모델의 위험 태세 및 관련 절충에 어떤 모드를 만들어내는가?
• RQ3 RQ3: LLM 판단자와 임상의는 페르소나로 유도된 안전성 및 추론의 차이를 어떻게 인식하는가?

주요 결과

• 의료 페르소나는 위기 삼진 선별 수행을 향상시키며 정확도 및 보정에서 대략 20% 포인트 정도의 개선을 보인다(기준선 대비).
• 1차 진료 삼진 선별에서는 동일한 의료 페르소나가 상황에 따라 성능을 유사한 정도로 저하시켜 맥락 의존적 효과를 보인다.
• 상호작용 스타일(대담 vs 신중)은 비단조적이고 모델 의존적인 위험 성향 및 위험 민감도 변화를 야기하며 안전 자세의 신뢰할 만한 제어 메커니즘으로 작용하지 않는다.
• LLM 기반 판단자는 안전이 중요한 사례에서 일반적으로 의료 페르소나를 선호하지만, 인간 임상의는 많은 경우 안전 준수에 대한 합의가 제한적이며 추론 품질에 대한 확신이 낮다.
• 모델 전반에서 의사의 페르소나가 더 강한 안전 인식을 유도하는 경향이 있으며, 임상의가 이러한 판단에 일정 신뢰를 보이지만 근거의 질은 작업 간 불분명하고 일관되지 않다.
• 전반적으로 페르소나는 맥락 의존적인 행동 선입관으로서 안전성/전문성을 맥락에 맞춰 절충시키며, 임상 의사결정을 보편적으로 개선하지는 않는다.

Figure 2: Persona effects on Clinical Triage. Bars show $\Delta$ relative to no‑persona baseline. On average, medical Personas improve emergency performance but degrade primary care performance, with model‑dependent effects on consistency. Arrows represent the directionality of the metric. ’*’ repre