[논문 리뷰] Talk2Care: Facilitating Asynchronous Patient-Provider Communication with Large-Language-Model

Ziqi Yang, Xuhai Xu외 7명|arXiv (Cornell University)|2023. 09. 17.

Technology Use by Older Adults인용 수 7

한 줄 요약

Talk2Care는 노인 환자와 의료 제공자 간 이관 통신을 향상시키기 위해 대화형 음성 보조 장치를 활용해 건강 정보를 수집하고 제공자 대시보드를 통해 핵심 통찰을 요약하는 LLM 기반 시스템이다. 이는 의사소통 효율성을 높이고 건강 데이터 수집을 풍부하게 하며 제공자 부담을 줄이며, 시범 연구에서 뛰어난 사용성과 성능을 입증한다.

ABSTRACT

Despite the plethora of telehealth applications to assist home-based older adults and healthcare providers, basic messaging and phone calls are still the most common communication methods, which suffer from limited availability, information loss, and process inefficiencies. One promising solution to facilitate patient-provider communication is to leverage large language models (LLMs) with their powerful natural conversation and summarization capability. However, there is a limited understanding of LLMs' role during the communication. We first conducted two interview studies with both older adults (N=10) and healthcare providers (N=9) to understand their needs and opportunities for LLMs in patient-provider asynchronous communication. Based on the insights, we built an LLM-powered communication system, Talk2Care, and designed interactive components for both groups: (1) For older adults, we leveraged the convenience and accessibility of voice assistants (VAs) and built an LLM-powered VA interface for effective information collection. (2) For health providers, we built an LLM-based dashboard to summarize and present important health information based on older adults' conversations with the VA. We further conducted two user studies with older adults and providers to evaluate the usability of the system. The results showed that Talk2Care could facilitate the communication process, enrich the health information collected from older adults, and considerably save providers' efforts and time. We envision our work as an initial exploration of LLMs' capability in the intersection of healthcare and interpersonal communication.

연구 동기 및 목표

• 기존 노인 환자와 의료 제공자 간 이관 소통의 비효율성과 접근성 문제를 해결한다.
• 대규모 언어 모델(LLM)이 자연스럽고 적응형이며 접근 가능한 환자-의료 제공자 상호작용를 지원하는 데서의 역할을 탐색한다.
• 환자와 제공자의 고유한 요구사항을 고려해 LLM 기반 인터페이스를 통해 양측을 지원하는 시스템을 설계하고 평가한다.
• 자동 요약 및 지능형 질문 생성을 통해 건강 정보 품질을 향상시키고 제공자 부담을 줄인다.

제안 방법

• 의료 제공자 9명과 노인 환자 10명을 대상으로 두 차례의 반구조화된 인터뷰 연구를 수행하여 소통 과제와 LLM 통합 기회를 파악했다.
• 노인 환자가 제공하는 건강 정보를 수집하기 위해 LLM 기반 음성 보조 장치(VA)를 활용한 환자 대상 모듈을 구축했다.
• LLM 기반 자연어 처리를 활용해 환자-VA 대화에서 유의미한 건강 통찰을 요약하는 제공자 대시보드를 개발했다.
• 전자 의료 기록(EHR) 통합을 고려하지 않고, 기밀성과 사용성 확보를 위해 독립형 소통 및 정보 요약에 집중한 시스템을 설계했다.
• 노인 환자와 제공자를 대상으로 두 단계의 사용자 연구를 수행하여 시스템의 사용성, 유용성, 시간 절감 효과를 평가했다.
• qualitative 및 quantitative 피드백을 활용해 시스템 성능을 평가하였으며, 시간 절감 정도와 정보의 풍부함을 포함한다.

Figure 1 . Overview of Talk2Care System. The system consists of two modules. 1) The patient module: An LLM-powered VA interface (in purple) that generates natural conversation with home-based older adults to collect health information and forward it to healthcare providers; 2) The provider module: A

실험 결과

연구 질문

• RQ1 LLM을 활용해 노인 환자와 의료 제공자 간 홈 기반 간병에서의 이관 소통을 어떻게 향상시킬 수 있는가?
• RQ2 현재 메시징 및 후속 조치 워크플로우에서 노인 환자와 제공자의 핵심 요구사항과 고통 요소는 무엇인가?
• RQ3 LLM 기반 음성 보조 장치는 노인 환자로부터 의미 있고 종합적인 건강 정보를 얼마나 효과적으로 수집할 수 있는가?
• RQ4 LLM 기반 요약은 임상적 관련성을 유지하면서 제공자 부담을 얼마나 줄일 수 있는가?
• RQ5 민감한 의료 소통 환경에서 LLM을 도입할 때 나타나는 기밀성 및 사용성 고려사항은 무엇인가?

주요 결과

• 노인 환자와 제공자는 기존 메시징 방식에서 지연된 응답, 정보 유실, 낮은 건강 인지 수준 등 심각한 과제를 보고했다.
• LLM 기반 음성 보조 장치가 자연스럽고 맥락에 맞는 질문을 성공적으로 생성하여 수집된 건강 정보의 질과 깊이를 향상시켰다.
• 의료 제공자들은 대시보드에 AI 기반 요약이 제공되면서 평균 30~50%의 시간 절감 효과를 경험했다.
• 노인 환자들은 음성 기반 상호작용을 통해 시스템이 직관적이고 접근 가능하다고 평가했으며, 텍스트 입력 의존도가 감소했다.
• 의료 제공자들은 대시보드가 주요 증상, 우려 사항 및 추세를 효과적으로 강조하여 임상적 의사결정을 빠르게 할 수 있도록 도왔다.
• 기밀성 우려가 제기되었으며, 특히 데이터 처리 및 동의 절차에 대한 우려가 있었고, 향후 배포 시 투명하고 HIPAA 준수 설계가 필수적임을 강조했다.

Figure 2 . The Component of Talk2Care System for Home-based Older Adults. The VA interface has multi-turn personalized conversations with the older adult to collect related health information. The LLM-powered Question Generation Module is responsible for taking the older adult’s words and generating