[論文レビュー] Powering an AI Chatbot with Expert Sourcing to Support Credible Health Information Access

Ziang Xiao, Q. Vera Liao+3 more|arXiv (Cornell University)|Jan 25, 2023

Misinformation and Its Impacts被引用数 4

ひとこと要約

本論文は、150名を超える科学者・医療専門家からなるグローバルネットワークを活用して、COVID-19関連の信頼性が高く最新でアクセスしやすい健康情報の提供を実現する、エキスパートソーシングフレームワークを提示する。このチャットボットは、検索精度の向上、ユーザー満足度の向上、信頼性の向上を実現し、コンテンツの迅速な更新と高品質なキュレーションを、分散型のエキスパート連携と二段階の検証プロセスによって可能にする。

ABSTRACT

During a public health crisis like the COVID-19 pandemic, a credible and easy-to-access information portal is highly desirable. It helps with disease prevention, public health planning, and misinformation mitigation. However, creating such an information portal is challenging because 1) domain expertise is required to identify and curate credible and intelligible content, 2) the information needs to be updated promptly in response to the fast-changing environment, and 3) the information should be easily accessible by the general public; which is particularly difficult when most people do not have the domain expertise about the crisis. In this paper, we presented an expert-sourcing framework and created Jennifer, an AI chatbot, which serves as a credible and easy-to-access information portal for individuals during the COVID-19 pandemic. Jennifer was created by a team of over 150 scientists and health professionals around the world, deployed in the real world and answered thousands of user questions about COVID-19. We evaluated Jennifer from two key stakeholders' perspectives, expert volunteers and information seekers. We first interviewed experts who contributed to the collaborative creation of Jennifer to learn about the challenges in the process and opportunities for future improvement. We then conducted an online experiment that examined Jennifer's effectiveness in supporting information seekers in locating COVID-19 information and gaining their trust. We share the key lessons learned and discuss design implications for building expert-sourced and AI-powered information portals, along with the risks and opportunities of misinformation mitigation and beyond.

研究の動機と目的

• 公衆衛生危機（例：COVID-19）の際、タイムリーで正確かつ理解しやすい健康情報の提供という課題に対処すること。
• 一般大衆がアクセス可能な中央集権型のエキスパートキュレート情報ポータルを構築することで、誤情報と情報過多を軽減すること。
• エキスパート志願者および情報探索者両者の視点から、エキスパートソースのAIチャットボットの有効性を評価すること。
• スケーラブルで信頼性が高く迅速対応可能なAI駆動型健康情報システムの設計的含意を同定すること。
• 大規模言語モデルをエキスパートキュレート知識と統合することで、事実の正確性を損なわず、ユーザーの関与を高めることの可能性を探ること。

提案手法

• コンテンツ品質とスケーラビリティを確保するため、階層的構造と二段階の検証を備えた分散型エキスパートソーシングフレームワークを設計した。
• パンデミック期にわたり、リアルタイムでコンテンツをキュレート・検証・更新できる、150名を超えるグローバルな医療・科学専門家チームを編成した。
• エキスパートが検証した平易な言語による回答を知識ベースに持つAIチャットボット「Jennifer」を構築した。
• コンテンツ作成と協働における課題とニーズを特定するため、エキスパート志願者に対して半構造化インタビューを実施した。
• 情報探索者を対象にオンライン実験を実施し、Jenniferの情報検索効果、信頼性、満足度を評価した。
• 日々の会話ログを活用したフィードバックループを統合し、チャットボットのパフォーマンスと対応性を段階的に改善した。

Figure 1 . The figures show the architecture overview of Jennifer . Our expert sourcing framework extends Juji’s base system’s ability to answer people’s questions about COVID-19. Through a hierarchical structure, expert volunteers were divided into four groups, Admins, Curator, Helper, and Tester,

実験結果

リサーチクエスチョン

• RQ1 急激に変化する危機状況において、迅速かつ正確で信頼性のある健康情報のキュレーションを支援するエキスパートソーシングフレームワークは、どのように設計できるか？
• RQ2 大規模かつリアルタイムなAIチャットボットに貢献するエキスパート志願者が直面する主な課題は何か。また、それらの課題を克服するための技術的支援とは何か？
• RQ3 エキスパートソースのAIチャットボットは、非専門家ユーザーの情報検索、満足度、信頼性の向上に、どの程度寄与できるか？
• RQ4 継続的な危機状況において一般的に見られる繰り返しの情報探索行動を支援するため、プロアクティブな設計機能（例：お知らせ通知）はどのように活用できるか？
• RQ5 大規模言語モデルは、高リスクの健康情報文脈において、事実の正確性を損なわず、ユーザーの関与を高めるために果たす役割は何か？

主な発見

• Jenniferは、ユーザーが正確で関連性の高い情報を取得するのを効果的に支援し、高いユーザー満足度とチャットボットの回答に対する信頼性を実現した。
• エキスパート志願者からは、中央集権型の追跡システムやリアルタイム協働ツールの欠如が、コンテンツ更新と調整の主要な障壁であると報告された。
• 二段階の検証プロセスと階層的チーム構造のおかげで、多様なエキスパート間でのスケーラブルな協働が可能になり、情報の品質が維持された。
• 情報探索者は、長期間にわたる不確実性の状況においても、繰り返しJenniferに戻ってくることが多く、継続的かつ繰り返しの情報ニーズが生じていることが示された。
• このフレームワークは、現実世界への展開の可能性を示した。6か月間にわたり数千件のユーザー相互作用が発生し、継続的なコンテンツ更新が行われた。
• プロアクティブなお知らせ機能は、進展する情報の監視にかかるユーザーの負担を顕著に低減できる可能性を示しており、将来的なシステム拡張に価値があると考えられる。

(a) Jennifer opens the conversation with a self-introduction.