[論文レビュー] CataractBot: An LLM-Powered Expert-in-the-Loop Chatbot for Cataract Patients

Pragnya Ramjee, Bhuvan Sachdeva+5 more|arXiv (Cornell University)|Feb 7, 2024

Transportation and Mobility Innovations被引用数 4

ひとこと要約

CataractBot は、カスタムに整理された知識ベースから情報を取得し、医療専門家による非同期的検証を経て、WhatsApp を通じてリアルタイムで正確な白内障手術に関する情報を提供する、大規模言語モデル（LLM）駆動のエキスパートインザループ型チャットボットである。49名の患者および付き添い者を対象とした実世界での導入において、情報へのアクセス向上、不安の軽減、専門家の検証による信頼の構築が実現され、低リソース医療環境におけるスケーラブルで信頼性の高い患者支援の可能性を示した。

ABSTRACT

The healthcare landscape is evolving, with patients seeking reliable information about their health conditions and available treatment options. Despite the abundance of information sources, the digital age overwhelms individuals with excess, often inaccurate information. Patients primarily trust medical professionals, highlighting the need for expert-endorsed health information. However, increased patient loads on experts has led to reduced communication time, impacting information sharing. To address this gap, we developed CataractBot. CataractBot answers cataract surgery related questions instantly using an LLM to query a curated knowledge base, and provides expert-verified responses asynchronously. It has multimodal and multilingual capabilities. In an in-the-wild deployment study with 49 patients and attendants, 4 doctors, and 2 patient coordinators, CataractBot demonstrated potential, providing anytime accessibility, saving time, accommodating diverse literacy levels, alleviating power differences, and adding a privacy layer between patients and doctors. Users reported that their trust in the system was established through expert verification. Broadly, our results could inform future work on expert-mediated LLM bots.

研究の動機と目的

• 白内障手術に関する信頼できる、タイムリーな医療情報への患者の需要が増加する中、医師1人あたりの患者数の増加や限られた診察時間という状況に対応するため。
• スケーラブルなデジタルソリューションを通じて、アクセスしやすく正確でエキスパート検証済みの情報を提供することで、患者の不安を軽減し、健康アウトカムを改善するため。
• LLM の高速性とエキスパート検証の信頼性を組み合わせたシステムを設計し、臨床スタッフの負担を増やさずに信頼できる回答を保証するため。
• インドの三次医療機関のような低リソース・リソース制約のある臨床環境において、エキスパートインザループ型チャットボットの実用性と影響を評価するため。
• 他の医療分野（例：腫瘍学）や非医療分野（例：農業）においても同様のエキスパート支援 LLM チャットボットを展開するためのフレームワークを確立するため。

提案手法

• 患者の質問に対して、白内障関連情報に特化したカスタムで整理された知識ベースを用いたリtrieval-augmented generation（RAG）により、リアルタイムの回答を生成する。
• LLM が生成した回答は、医療専門家（医師および事務担当者）によって非同期的に検証され、患者に共有される前に承認が行われる。
• チャットボットは、低デジタルリテラシーでスマートフォン経験が限られる患者のアクセスを容易にするために、広く使われているメッセージングプラットフォームである WhatsApp を通じて配信される。
• 知識ベースの更新メカニズムには、KB Update 専門家が新しい医療コンテンツをレビューし統合するプロセスが含まれており、将来的には複数の貢献者を導入することで単一障害点の低減を図る計画である。
• システムは多言語およびマルチモーダル対応をサポートしており、多様なリテラシー水準に対応し、画像またはテキストベースの質問を可能にしている。
• エキスパート検証プロセスがワークフローに組み込まれており、医師が休憩時間や外来時間外に回答を検証できるよう設計されており、臨床業務への干渉を最小限に抑える。

Figure 1. Asking question to CataractBot , and getting a verified answer from the expert

実験結果

リサーチクエスチョン

• RQ1 エキスパートインザループ方式による LLM チャットボットは、実世界の低リソース臨床環境において、白内障手術に関する患者の情報ニーズを効果的に満たすことができるか？
• RQ2 LLM 生成回答とエキスパート検証を組み合わせたチャットボットについて、患者および医療提供者は信頼性と使いやすさをどのように認識しているか？
• RQ3 このようなシステムは、すでに過重な負荷がかかっている医療スタッフの負担を増大させることなく、患者の不安を軽減し、情報へのアクセスを向上させることができるか？
• RQ4 発展途上医療環境において、多数の患者を対象としたエキスパート検証 LLM チャットボットをスケーリングするにあたり、主な技術的および運用的課題は何か？
• RQ5 複数のエキスパートが長期間にわたり知識ベースの更新を行う際、知識ベースの正確性と一貫性をどのように維持できるか？

主な発見

• 49名の患者および付き添い者を対象とした実世界での導入において、CataractBot は価値のあるツールとして認識され、利用者たちはいつでもアクセス可能で、外来時間外にも回答が得られることを評価した。
• 患者は、回答が医師によって検証されていることから高い信頼を寄せ、医師の時間的制約を理解した上で、検証を待つことを厭わない傾向が見られた。
• 多言語およびマルチモーダル対応により、リテラシー水準の異なるユーザーに対応でき、デジタルヘルス介入における包括性が向上した。
• 成功を収めたものの、研究中には知識ベースが陳腐化し、KB Update 専門家のミスにより誤りが発生したことが判明し、複数の貢献者と自動更新メカニズムの導入の必要性が浮き彫りになった。
• エキスパートインザループ検証が実際の現場でも実現可能であることが示された。医師および事務担当者が休憩時間や外来時間外に検証作業に参加しており、運用上の摩擦が小さいことが示された。
• 本研究は、情報ニーズが高く、複雑なグルーコーマやがん治療など、他の複雑な治療分野へも同様のフレームワークを拡張可能である可能性を示唆している。

Figure 2. Asking question to CataractBot through audio