[논문 리뷰] CataractBot: An LLM-Powered Expert-in-the-Loop Chatbot for Cataract Patients

Pragnya Ramjee, Bhuvan Sachdeva외 5명|arXiv (Cornell University)|2024. 02. 07.

Transportation and Mobility Innovations인용 수 4

한 줄 요약

CataractBot은 대규모 언어 모델(Large Language Model, LLM) 기반의 전문가 참여형 대화형 챗봇으로, 정제된 지식 기반에서 정보를 검색하고 의료 전문가가 비동기적으로 응답을 검증함으로써 WhatsApp을 통해 실시간으로 정확한 백내장 수술 정보를 제공한다. 49명의 환자와 보호자와의 실제 현장 구현에서 정보 접근성 향상, 불안 감소, 전문가 검증을 통한 신뢰 구축을 경험했으며, 자원이 부족한 의료 환경에서 확장 가능하고 신뢰할 수 있는 환자 지원의 가능성을 입증했다.

ABSTRACT

The healthcare landscape is evolving, with patients seeking reliable information about their health conditions and available treatment options. Despite the abundance of information sources, the digital age overwhelms individuals with excess, often inaccurate information. Patients primarily trust medical professionals, highlighting the need for expert-endorsed health information. However, increased patient loads on experts has led to reduced communication time, impacting information sharing. To address this gap, we developed CataractBot. CataractBot answers cataract surgery related questions instantly using an LLM to query a curated knowledge base, and provides expert-verified responses asynchronously. It has multimodal and multilingual capabilities. In an in-the-wild deployment study with 49 patients and attendants, 4 doctors, and 2 patient coordinators, CataractBot demonstrated potential, providing anytime accessibility, saving time, accommodating diverse literacy levels, alleviating power differences, and adding a privacy layer between patients and doctors. Users reported that their trust in the system was established through expert verification. Broadly, our results could inform future work on expert-mediated LLM bots.

연구 동기 및 목표

• 백내장 수술에 대한 신뢰할 수 있고 시의적인 의료 정보에 대한 환자 수요 증가를 해결하기 위해, 의사-환자 비율 증가와 제한된 상담 시간이라는 상황에서의 필요성에 부응한다.
• 확장 가능한 디지털 솔루션을 통해 접근성 있고 정확하며 전문가가 검증한 정보를 제공함으로써 환자의 불안을 줄이고 건강 결과를 향상시키는 것.
• LLM의 빠른 처리 속도와 전문가 검증의 신뢰성의 조합을 통해 신뢰할 수 있는 응답을 제공하면서도 임상 인력의 부담을 증가시키지 않는 시스템을 설계하는 것.
• 인도의 종합 안과 병원과 같은 저자원, 저리터러시 환경에서 실생활으로 구현된 전문가 참여형 챗봇의 타당성과 영향을 평가하는 것.
• 유사한 전문가 중재 LLM 챗봇을 종양학이나 농업과 같은 다른 의료 및 비의료 분야에 배포하기 위한 프레임워크를 수립하는 것.

제안 방법

• 시스템은 백내장 관련 정보를 정제한 전용 지식 기반을 기반으로 Retrieval-Augmented Generation(RAG)을 사용하여 환자 질문에 실시간으로 응답을 생성한다.
• LLM가 생성한 응답은 의료 전문가(의사 및 조정자)가 비동기적으로 검토하고 승인한 후 환자에게 공유된다.
• 챗봇은 환자들이 낮은 디지털 리터러시와 제한된 스마트폰 경험을 가졌더라도 접근할 수 있도록 널리 사용되는 메시징 플랫폼인 WhatsApp을 통해 배포된다.
• 지식 기반 업데이트 메커니즘은 새로운 의료 콘텐츠를 검토하고 통합하는 KB 업데이트 전문가가 담당하며, 단일 실패 지점 방지를 위해 향후 다수의 기여자로 확장할 계획이다.
• 시스템은 다국어 및 다중 모odal 상호작용을 지원하여 다양한 리터러시 수준을 수용하고, 이미지 또는 텍스트 기반의 질문을 가능하게 한다.
• 전문가 검증이 워크플로우에 통합되어 있어, 의사들이 휴식 시간이나 진료 시간 외에 응답을 검증할 수 있어 임상 루틴의 방해를 최소화한다.

Figure 1. Asking question to CataractBot , and getting a verified answer from the expert

실험 결과

연구 질문

• RQ1 실생활 저자원 임상 환경에서 LLM 기반 챗봇에 전문가 참여 검증 기능을 통합할 경우, 환자들이 백내장 수술에 대한 정보 요구를 효과적으로 충족시킬 수 있는가?
• RQ2 LLM 생성 응답과 전문가 검증을 융합한 챗봇의 신뢰성과 사용성에 대해 환자와 의료 제공자는 어떻게 평가하는가?
• RQ3 이러한 시스템은 기존에 과도하게 바쁜 의료 인력의 업무 부담을 증가시키지 않고도 환자의 불안을 줄이고 정보 접근성을 향상시킬 수 있는가?
• RQ4 개발 중인 의료 환경에서 대규모 환자 인구에 걸쳐 전문가 검증 LLM 챗봇을 확장하는 데 있어 주요 기술적 및 운영적 과제는 무엇인가?
• RQ5 시간이 지남에 따라 다수의 전문가가 지식 기반을 업데이트할 경우, 지식 기반의 정확성과 일관성을 어떻게 유지할 수 있는가?

주요 결과

• 실제 환자 49명과 보호자와의 구현에서 CataractBot은 유용한 도구로 평가되었으며, 환자들은 언제라도 접근 가능하고 진료 시간 외에도 답변을 받을 수 있다는 점을 높이 평가했다.
• 환자들은 특히 의사가 검증한 응답 덕분에 높은 신뢰를 느꼈으며, 의사의 시간 제약을 이해하고 검증을 기다리는 데도 동의했다.
• 다국어 및 다중 모달 지원 덕분에 다양한 리터러시 수준의 사용자를 효과적으로 수용하여 디지털 헬스 개입의 포괄성을 향상시켰다.
• 성공에도 불구하고 연구 기간 동안 지식 기반은 오래되어졌고, KB 업데이트 전문가의 실수로 오류가 발생해, 다수의 기여자와 자동 업데이트 메커니즘의 필요성을 강조했다.
• 실제로 전문가 참여 검증이 운영 가능하다는 점을 입증했으며, 의사와 조정자가 휴식 시간이나 진료 시간 외에 검증을 수행함으로써 운영적 부담이 낮다는 점을 확인했다.
• 이 연구는 유사한 프레임워크가 백내장 수술이나 암 치료처럼 정보 수요가 높고 더 세밀한 이해가 필요한 다른 복잡한 치료 분야로도 확장될 수 있음을 시사한다.

Figure 2. Asking question to CataractBot through audio