[논문 리뷰] Powering an AI Chatbot with Expert Sourcing to Support Credible Health Information Access
이 논문은 글로벌 150명 이상의 과학자 및 헬스 전문가 네트워크를 활용하여 신뢰할 수 있고 최신이며 쉽게 접근할 수 있는 코로나19 건강 정보를 제공하는 AI 챗봇 Jennifer를 개발하기 위한 전문가 소싱 프레임워크를 제안한다. 챗봇은 검색 정확도, 사용자 만족도 및 신뢰도를 향상시켜 정보 수요자들을 효과적으로 지원하며, 분산된 전문가 협업과 이중 단계 검증 절차를 통해 빠른 콘텐츠 업데이트 및 고품질 콘텐츠 정제를 가능하게 하는 프레임워크를 제공한다.
During a public health crisis like the COVID-19 pandemic, a credible and easy-to-access information portal is highly desirable. It helps with disease prevention, public health planning, and misinformation mitigation. However, creating such an information portal is challenging because 1) domain expertise is required to identify and curate credible and intelligible content, 2) the information needs to be updated promptly in response to the fast-changing environment, and 3) the information should be easily accessible by the general public; which is particularly difficult when most people do not have the domain expertise about the crisis. In this paper, we presented an expert-sourcing framework and created Jennifer, an AI chatbot, which serves as a credible and easy-to-access information portal for individuals during the COVID-19 pandemic. Jennifer was created by a team of over 150 scientists and health professionals around the world, deployed in the real world and answered thousands of user questions about COVID-19. We evaluated Jennifer from two key stakeholders' perspectives, expert volunteers and information seekers. We first interviewed experts who contributed to the collaborative creation of Jennifer to learn about the challenges in the process and opportunities for future improvement. We then conducted an online experiment that examined Jennifer's effectiveness in supporting information seekers in locating COVID-19 information and gaining their trust. We share the key lessons learned and discuss design implications for building expert-sourced and AI-powered information portals, along with the risks and opportunities of misinformation mitigation and beyond.
연구 동기 및 목표
- 공중보건 위기인 코로나19와 같은 상황에서 신속하고 정확하며 이해하기 쉬운 건강 정보를 제공하는 데 도전하는 것.
- 일반 대중이 접근할 수 있는 중심화된 전문가가 정제한 정보 포털을 구축하여 오락실 정보 및 정보 과부하를 줄이는 것.
- 전문가 소싱 기반 AI 챗봇의 효과성을 전문가 자원봉사자와 정보 수요자 모두의 관점에서 평가하는 것.
- 확장 가능하고 신뢰할 수 있으며 민감하게 반응하는 AI 기반 건강 정보 시스템을 위한 설계 함의를 도출하는 것.
- 대규모 언어 모델이 전문가가 정제한 지식과 통합되어 정확성에 손상이 가지 않으면서도 참여도를 향상시킬 수 있는 방법을 탐색하는 것.
제안 방법
- 콘텐츠 품질과 확장성을 보장하기 위해 계층적 구조와 이중 단계 검증을 갖춘 분산형 전문가 소싱 프레임워크를 개발했다.
- 팬데믹 기간 동안 실시간으로 콘텐츠를 정제하고 검증하며 업데이트하기 위해 글로벌 150명 이상의 헬스 및 과학 전문가 팀을 구성했다.
- 전문가가 검증한 간결한 언어로 된 응답 기반 지식 기반을 활용해 사용자 질의에 답변하는 AI 챗봇 Jennifer를 구축했다.
- 콘텐츠 제작 및 협업 과정에서의 과제와 필요를 파악하기 위해 전문가 자원봉사자들과 반구조화된 인터뷰를 실시했다.
- 정보 수요자들을 대상으로 온라인 실험을 수행하여 Jennifer의 정보 검색 능력, 신뢰도 및 만족도를 평가했다.
- 매일의 대화 로그를 활용한 피드백 루프를 통합하여 챗봇의 성능과 반응성을 지속적으로 향상시켰다.
실험 결과
연구 질문
- RQ1빠르게 변화하는 위기 상황에서 정확하고 신뢰할 수 있으며 빠르게 정제된 건강 정보를 확보하기 위해 전문가 소싱 프레임워크는 어떻게 설계할 수 있는가?
- RQ2대규모 실시간 AI 챗봇에 기여하는 데 있어 전문가 자원봉사자들이 겪는 주요 과제는 무엇이며, 어떤 기술적 지원이 필요한가?
- RQ3전문가 소싱 기반 AI 챗봇은 비전문가 사용자들의 정보 검색, 사용자 만족도 및 신뢰도를 어느 정도 향상시킬 수 있는가?
- RQ4지속적인 위기 상황에서 반복적인 정보 수요 행동을 지원하기 위해 사전적 설계 기능(예: 알림)은 어떻게 활용될 수 있는가?
- RQ5고위험 건강 정보 환경에서 사실 정확성을 유지하면서 참여도를 향상시키기 위해 대규모 언어 모델은 어떤 역할을 할 수 있는가?
주요 결과
- Jennifer는 높은 사용자 만족도와 챗봇 응답에 대한 신뢰도를 바탕으로 정보 수요자들이 정확하고 관련 있는 정보를 효과적으로 확보하는 데 성공했다.
- 전문가 자원봉사자들은 콘텐츠 업데이트 및 조율 과정에서 중심화된 추적 시스템과 실시간 협업 도구의 부재가 주요 과제로 지적했다.
- 이중 단계 검증 절차와 계층적 팀 구조는 다양한 전문가들 간의 확장 가능한 협업을 가능하게 하였으며, 정보 품질을 유지하는 데 기여했다.
- 정보 수요자들은 장기적인 불확실성 기간 동안 반복적으로 Jennifer를 다시 방문하여 지속적인 정보 필요성을 보여주었다.
- 프레임워크는 실제 운영에서의 타당성을 입증하였으며, 6개월 동안 수천 건의 사용자 상호작용과 지속적인 콘텐츠 업데이트를 기록했다.
- 수동적 알림 기능은 사용자가 변화하는 정보를 모니터링하는 데 드는 노력을 크게 줄일 수 있어, 향후 시스템에 유용한 확장 기능으로 제안된다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.