[논문 리뷰] Personalizing Prostate Cancer Education for Patients Using an EHR-Integrated LLM Agent

Yuexing Hao, Jason Holmes외 11명|arXiv (Cornell University)|2024. 09. 27.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 환자의 전자기록 데이터를 기반으로 개인화된 반구조화된 전립선암 교육을 제공하는 EHR 통합형 전문가 참여형 LLM 기반 챗봇인 MedEduChat을 제시한다. 환자, 임상의, AI 전문가와 공동 설계된 이 챗봇은 사용성 연구를 통해 접근성과 환자 참여도를 향상시켰으며, 강력한 인간-AI 협업 원칙을 바탕으로 LLM이 환자 중심의 종양학 교육에 활용 가능한 가능성을 입증한다.

ABSTRACT

Cancer patients often lack timely education and personalized support due to clinician workload. This quality improvement study develops and evaluates a Large Language Model (LLM) agent, MedEduChat, which is integrated with the clinic's electronic health records (EHR) and designed to enhance prostate cancer patient education. Fifteen non-metastatic prostate cancer patients and three clinicians recruited from the Mayo Clinic interacted with the agent between May 2024 and April 2025. Findings showed that MedEduChat has a high usability score (UMUX 83.7 out of 100) and improves patients' health confidence (Health Confidence Score rose from 9.9 to 13.9). Clinicians evaluated the patient-chat interaction history and rated MedEduChat as highly correct (2.9 out of 3), complete (2.7 out of 3), and safe (2.7 out of 3), with moderate personalization (2.3 out of 3). This study highlights the potential of LLM agents to improve patient engagement and health education.

연구 동기 및 목표

• 임상 시간 부족과 낮은 건강 리터러시로 인해 전립선암 환자에게 적시로 맞춤형 교육이 제공되지 않는 데 기인한 심각한 격차를 해소한다.
• 전자기록과 통합되어 실시간으로 맞춤형 교육을 제공할 수 있는 확장성 있고 안전하며 환자 중심인 LLM 기반 챗봇을 개발한다.
• 임상적 관련성, 사용성, 윤리적 일치를 보장하기 위해 환자, 임상의, AI 연구자들이 참여하는 공동 설계 프레임워크를 수립한다.
• 실제 환자와 임상의를 대상으로 한 사용성 테스트를 통해 챗봇의 효과가 환자의 이해도 향상과 참여도 향상에 기여하는지 평가한다.
• LLM을 임상 환자 교육에 구현할 때의 실용적 한계와 설계 원칙을 정의하며, 안전성, 정확성, 접근성에 중점을 둔다.

제안 방법

• 기존 전자학습 모듈을 활용하여 전립선암 환자 대상으로 필요성 평가 설문조사를 실시하여 핵심 교육 격차와 고통 요인을 파악하였다.
• 환자, 임상의, AI 전문가가 참여하는 공동 설계 과정을 통해 챗봇의 구조, 어조, 기능을 반복적으로 개선하였다.
• 정확성과 안전성을 확보하기 위해 전립선암 전용, 증거 기반 콘텐츠에 국한된 닫힌 도메인으로 미세조정된 LLM(예: ChatGPT-4)을 기반으로 MedEduChat을 구축하였다.
• 전자기록(EHR)과 통합하여 환자별 진단 단계 및 치료 계획과 같은 개인화된 데이터를 기반으로 맞춤형 응답을 제공하도록 하였다.
• 과도한 정보에 압도당하지 않도록 비순차적이고 단계적으로 핵심 교육 주제를 안내할 수 있는 반구조화된 대화형 상호작용을 설계하였다.
• 실제 환자 7명과 임상의 3명을 대상으로 사용성 연구를 수행하여 질적 피드백과 전문가 검토를 통해 응답 품질, 명확성, 도움이 되는 정도를 평가하였다.

실험 결과

연구 질문

• RQ1 현재 전립선암 환자 교육에서 접근성, 개인화, 정보 과잉과 관련된 주요 과제는 무엇인가?
• RQ2 환자, 임상의, AI 전문가가 참여하는 공동 설계 과정이 더 효과적이고 신뢰할 수 있는 LLM 기반 교육 도구를 어떻게 도출할 수 있는가?
• RQ3 LLM 기반 챗봇이 기존 전자학습 모듈에 비해 전립선암 교육에서 환자의 이해도와 참여도를 어느 정도 향상시키는가?
• RQ4 정확성, 편향 완화, 환자 안전성 측면에서 임상 환자 교육에 LLM을 구현할 때 실용적이고 윤리적인 한계는 무엇인가?

주요 결과

• 환자들은 표준 전자학습 모듈보다 MedEduChat이 치료 옵션과 부작용에 대해 더 명확하고 개인화된 설명을 제공한다고 보고하였다.
• 임상의들은 챗봇의 응답이 임상적으로 정확하고 잘 구성되어 있으며 최신 지침과 일치하며, 환상이나 오류 정보가 최소한임을 확인하였다.
• 공동 설계 과정을 통해 전문 용어 방지, 맥락 기반 응답 제공, 정서적 민감성 확보와 같은 핵심 사용성 및 안전성 요구사항을 효과적으로 파악하였다.
• EHR 데이터 통합 덕분에 환자별 치료 단계 및 공존 질환과 같은 개인화된 요소를 기반으로 맞춤형 응답을 제공할 수 있었다.
• 표본 다양성에 한계가 있었음에도 불구하고, 다양한 교육 배경을 가진 환자들이 챗봇을 접근 가능하고 참여도가 높다고 느꼈으며, 광범위한 적용 가능성을 시사하였다.
• 본 연구는 향후 연구가 인지 부하, 언어 접근성, 비영어권 환자 및 낮은 건강 리터러시 환자에서의 사용성에 대해 고려해야 할 필요성을 강조하였다.