[논문 리뷰] CareCall: a Call-Based Active Monitoring Dialog Agent for Managing COVID-19 Pandemic

Sang‐Woo Lee, Hyunhoon Jung외 18명|arXiv (Cornell University)|2020. 07. 06.

Speech and dialogue systems참고 문헌 19인용 수 7

한 줄 요약

CareCall은 잠재적인 코로나19 노출 후 자가격리 중인 개인을 대상으로 하루 두 번 증상 검사를 수행하기 위해 자동 음성 인식, 자연어 이해 및 음성 합성 기술을 사용하는 전화 기반 AI 대화 에이전트입니다. 한국과 일본에서 도입되었으며, 인간이 개입하는 방식을 통해 0.9%의 가짜 양성률을 기록하고 가짜 양성률을 효과적으로 줄였으며, 스마트폰 사용 숙련도가 낮은 노인 인구에게 높은 접근성을 보였습니다.

ABSTRACT

Tracking suspected cases of COVID-19 is crucial to suppressing the spread of COVID-19 pandemic. Active monitoring and proactive inspection are indispensable to mitigate COVID-19 spread, though these require considerable social and economic expense. To address this issue, we introduce CareCall, a call-based dialog agent which is deployed for active monitoring in Korea and Japan. We describe our system with a case study with statistics to show how the system works. Finally, we discuss a simple idea which uses CareCall to support proactive inspection.

연구 동기 및 목표

• 스마트폰 기술에 익숙하지 않은 노인 인구를 대상으로 앱 기반 모니터링의 한계를 해결하기 위해.
• AI 기반 전화 통화 시스템을 통해 매일 증상 검사를 자동화하여 의료 종사자의 부담을 줄이기 위해.
• 불확실한 AI 응답을 보완하는 인간이 개입하는 시스템을 통해 활성 모니터링의 정확성과 신뢰성을 향상시키기 위해.
• 확률 모델링을 활용해 전화 기반 AI 시스템을 통해 지역 전파 추정을 수행할 수 있는지 탐색하기 위해.
• 코로나19를 넘어 만성질환 모니터링과 일반 의료 지원에까지 응용 가능한 시스템의 유용성을 확장하기 위해.

제안 방법

• 시스템은 자동 음성 인식(ASR), 자연어 이해(NLU), 양방향 음성 상호작용을 위한 텍스트 음성 합성 기술을 포함한 3단계 아키텍처를 사용합니다.
• 자신감 있는 자가격리자에게 하루 두 번 자동으로 전화를 걸어 발열 및 호흡 고통과 같은 핵심 증상에 대해 간단한 예/아니요 질문을 합니다.
• 모호하거나 확실하지 않은 AI 응답을 모니터링하고 수정함으로써 정확도를 향상시키기 위해 인간이 개입하는 메커니즘을 운영합니다.
• 보고된 증상 데이터를 기반으로 베이지안 확률 모델링을 사용해 지역 사회 감염률을 추정합니다.
• 다양한 건강 상태에 맞게 대화 상태 및 동작 그래프를 맞춤 설정함으로써 코로나19 이외의 질병으로의 적용 가능성을 확보합니다.
• 증상 데이터는 그래픽 모델을 통해 집계되며, 감염 확률 $ q $ 는 개인 보고서 $ F_n $ 에서 추정되며, $ p(z_n|q) = q $ 와 $ p(F_n|z_n) $ 는 증상 발생 가능성을 모델링합니다.

실험 결과

연구 질문

• RQ1 전화 기반 AI 대화 에이전트는 높은 정확도와 낮은 가짜 양성률을 기반으로 자가격리 중인 개인을 효과적으로 모니터링할 수 있는가?
• RQ2 인간이 개입하는 시스템은 노인 인구에서 자동 증상 스크리닝의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ3 전염병 기간 동안 전화 기반 시스템은 의료 종사자의 부담을 어느 정도 줄일 수 있는가?
• RQ4 자동 전화를 통한 증상 보고를 통해 베이지안 모델링을 활용해 지역 사회 감염률을 추정할 수 있는가?
• RQ5 이러한 시스템은 어떻게 만성질환 모니터링 및 일반적인 의료 지원에까지 확장될 수 있는가?

주요 결과

• CareCall은 한국 성남시에서 3개월간의 도입 기간 동안 0.9%의 가짜 양성률을 기록했으며, 오직 한 건의 가짜 음성 사례만 발생함.
• 인간이 개입하는 프로세스는 첫 달 1.95%였던 가짜 양성률을 다음 두 달 동안 0.72%로 낮추었음.
• 스마트폰 기반 모니터링에서 제외되기 쉬운 노인 인구에게 높은 접근성을 보였으며, 코로나19에 특히 취약한 집단임에도 불구하고 이들의 참여를 촉진함.
• 베이지안 모델링 프레임워크를 통해 집계된 증상 보고를 기반으로 지역 사회 감염률을 추정할 수 있었으며, 선제적인 공중보건 결정을 지원함.
• 대화 상태 및 의도 슬롯의 맞춤 설정을 통해 시스템 아키텍처는 당뇨병 및 고혈압과 같은 다른 질병으로도 확장 가능함.
• 기술적 장벽이 낮아 노인 대상으로서 전화 기반 인터페이스가 앱 기반 시스템보다 더 효과적임이 입증됨.