[논문 리뷰] Empathy Applicability Modeling for General Health Queries

Shan Randhawa, Agha Ali Raza외 3명|arXiv (Cornell University)|2026. 01. 14.

Machine Learning in Healthcare인용 수 0

한 줄 요약

논문은 Empathy Applicability Framework (EAF)를 도입하여 일반 건강 질의에서 언제 어떤 유형의 임상 공감이 필요한지 선제적으로 식별하고, 인간과 GPT-4o 주석을 통해 학습 가능한 패턴을 보여준다.

ABSTRACT

LLMs are increasingly being integrated into clinical workflows, yet they often lack clinical empathy, an essential aspect of effective doctor-patient communication. Existing NLP frameworks focus on reactively labeling empathy in doctors' responses but offer limited support for anticipatory modeling of empathy needs, especially in general health queries. We introduce the Empathy Applicability Framework (EAF), a theory-driven approach that classifies patient queries in terms of the applicability of emotional reactions and interpretations, based on clinical, contextual, and linguistic cues. We release a benchmark of real patient queries, dual-annotated by Humans and GPT-4o. In the subset with human consensus, we also observe substantial human-GPT alignment. To validate EAF, we train classifiers on human-labeled and GPT-only annotations to predict empathy applicability, achieving strong performance and outperforming the heuristic and zero-shot LLM baselines. Error analysis highlights persistent challenges: implicit distress, clinical-severity ambiguity, and contextual hardship, underscoring the need for multi-annotator modeling, clinician-in-the-loop calibration, and culturally diverse annotation. EAF provides a framework for identifying empathy needs before response generation, establishes a benchmark for anticipatory empathy modeling, and enables supporting empathetic communication in asynchronous healthcare.

연구 동기 및 목표

• 일반 건강 질의에서 사후 라벨링을 넘어 예측적 공감 모델링의 필요성을 제시한다.
• Empathy Applicability Framework (EAF)를 제안하여 질의의 감정 반응 및 해석을 Applicable/Not Applicable로 분류한다.
• 사람과 GPT-4o가 주석한 실제 질의의 벤치마크를 생성·분석하여 신뢰성과 정합성을 평가한다.
• 공감 적용 가능성을 분류하는 예측 모델을 제시하고 제로샷-LLM 추론을 포함한 기준선과 비교한다.

제안 방법

• 공감 임상 문헌에 근거한 EAF를 개발하고, 선제적(응답 전) 분석과 사후 라벨링을 구분한다.
• Emotional Reactions, Interpretations의 두 차원과 Applicable/Not Applicable 큐 및 하위 범주를 정의한다.
• HealthCareMagic와 iCliniq의 9,500개 질의를 주석하고; 1,300개의 질의는 사람과 GPT-4o가 이중 주석하며; 8,000개는 GPT-만 주석한다.
• 별도의 라벨 데이터셋(Human Set, Autonomous Set)에서 EA와 IA를 RoBERTa 기반 분류기로 미세조정한다.
• 인간-인간 일치도 및 인간-GPT 정합성을 통해 신뢰성을 평가하고 무작위, Always Applicable/Not, o1-Zero-Shot 등의 기준선과 비교한다.
• 주관성, 임상적 중증도 모호성, 맥락적 어려움 등을 이해하기 위한 차원별 분석 및 차등 분석을 수행한다.

(a) Interpretation Applicability (IA) subcategory matches

실험 결과

연구 질문

• RQ1 EAF가 감정적 또는 해석적 공감이 환자 질의에 적용 가능한 시점을 신뢰성 있게 예측할 수 있는가?
• RQ2 사람과 GPT-4o가 공감 적용 가능 큐를 식별하는 데 일치하는가, 학습 가능한 패턴을 추출할 수 있는가?
• RQ3 다른 학습 데이터(사람 간 합의 vs GPT-전용 라벨)가 공감 적용 가능성 분류기의 예측 성능에 어떤 영향을 미치는가?
• RQ4 사람과 모델 판단 간의 주요 차이점은 무엇이며, 다중 주석자 및 임상의가 루프에 참여하는 접근법이 이를 어떻게 해결할 수 있는가?
• RQ5 임상 또는 일반 건강 맥락에서 선제적 공감을 배치할 때의 실질적 한계점과 윤리적 고려사항은 무엇인가?

주요 결과

Training Set / Model	EA Acc	EA Macro-F1	EA Wtd-F1	IA Acc	IA Macro-F1	IA Wtd-F1
Random	0.47	0.47	0.47	0.44	0.43	0.44
Always Applicable	0.52	0.34	0.36	0.53	0.35	0.37
Always Not Applicable	0.48	0.32	0.31	0.47	0.32	0.30
o1 Zero-Shot	0.55	0.40	0.41	0.62	0.53	0.54
Human-supervised models (train and tested on human-consensus set) - Logistic Regression	0.84	0.84	0.84	0.80	0.80	0.80
Human-supervised models (train and tested on human-consensus set) - Linear SVM	0.83	0.83	0.83	0.77	0.77	0.77
Human-supervised models (train and tested on human-consensus set) - Transformer (RoBERTa-base)	0.92	0.92	0.92	0.87	0.87	0.87
Autonomous-supervised model (train on GPT labels, test on human-consensus test set) - Transformer (RoBERTa-base)	0.85	0.85	0.85	0.78	0.77	0.77

• 인간-인간 간의 보통 수준의 일치도(Cohen’s kappa ~0.46) 및 인간-GPT 간의 상당한 정합성(kappa >0.6, 부분집합에서 적용 라벨 기준)
• RoBERTa 기반 분류기가 기준선보다 우수; Human Set에서 LR/SVM이 약 ~0.80의 macro-F1에 도달하고 RoBERTa-base는 EA 약 ~0.92, IA 약 ~0.87의 macro-F1를 달성
• GPT-전용 학습 모델은 인간 합의 테스트 세트에서 ~0.85(EA) 및 ~0.77(IA)의 성능을 달성하여 GPT 라벨에서 학습 가능한 패턴이 있음을 시사
• 모든 기준선은 트랜스포머 모델 대비 저조하며, McNemar 테스트에서 트랜스포머가 무의미한 기준선 및 고전적 기준선보다 유의하게 우수함(p<10^-4 및 p≤0.02)
• 다양성 주석자 및 임상의-루프 접근이 필요함을 시사하는 주관성, 임상 중증도 모호성, 맥락적 어려움 등에서의 차이점 분석
• 본 연구는 1,300개의 질의에 대해 신뢰할 수 있는 EAF 라벨 벤치마크를 제공하고 선제적 공감 모델링과 임상의 루프 통합의 가능성을 시연한다.

(b) Emotional Applicability (EA) subcategory matches