[논문 리뷰] Missed calls, Automated Calls and Health Support: Using AI to improve maternal health outcomes by increasing program engagement

Siddharth Nishtala, Harshavardhan Kamarthi외 9명|arXiv (Cornell University)|2020. 06. 13.

Insurance, Mortality, Demography, Risk Management참고 문헌 17인용 수 9

한 줄 요약

이 논문은 인도의 여성들이 참여한 전화 기반 모성 건강 인식 프로그램(mMitra)에서 AI 기반 예측 모델을 활용해 탈락 위험을 예측하기 위해 딥러닝 모델을 제안한다. 익명화된 통화 기록과 인구통계 데이터를 기반으로 하며, ReNDiP 모델은 단기 예측에서 기준 모델 대비 13% 향상되고 장기 예측에서는 7% 향상되어, 참여도 향상과 모성 건강 결과 개선을 위한 타겟팅된 AI 기반 개입이 가능해진다.

ABSTRACT

India accounts for 11% of maternal deaths globally where a woman dies in childbirth every fifteen minutes. Lack of access to preventive care information is a significant problem contributing to high maternal morbidity and mortality numbers, especially in low-income households. We work with ARMMAN, a non-profit based in India, to further the use of call-based information programs by early-on identifying women who might not engage on these programs that are proven to affect health parameters positively.We analyzed anonymized call-records of over 300,000 women registered in an awareness program created by ARMMAN that uses cellphone calls to regularly disseminate health related information. We built robust deep learning based models to predict short term and long term dropout risk from call logs and beneficiaries' demographic information. Our model performs 13% better than competitive baselines for short-term forecasting and 7% better for long term forecasting. We also discuss the applicability of this method in the real world through a pilot validation that uses our method to perform targeted interventions.

연구 동기 및 목표

• 전화 기반 모성 건강 인식 프로그램에서 탈락률을 낮추어 인도의 높은 모성 사망률을 완화한다.
• 통화 기록과 인구통계 데이터를 기반으로 한 예측 모델을 통해 mMitra 프로그램에서 이탈 위험이 있는 여성들을 식별한다.
• 누락된 통화 알림 및 개인 맞춤 상담과 같은 조치를 조기에 시행할 수 있도록 구현 가능한 AI 도구를 개발한다.
• 보건 종사자들과의 시범 운영을 통해 모델의 실세계 적용 효과를 검증한다.
• AI 기반 조기 위험 탐지로 프로그램 참여도를 높여 모성 건강 결과를 향상시킨다.

제안 방법

• mMitra 프로그램에 등록된 30만 명 이상의 여성들에서 수집한 익명화된 통화 기록과 인구통계 데이터를 기반으로 딥러닝 모델(ReNDiP, CoNDiP)을 훈련한다.
• 통화 빈도, 시간대, 인구통계 변수에서 유도된 특징을 사용하여 탈락 예측을 지도 학습 문제로 설정한다.
• 훈련 데이터의 클래스 불균형을 보완하기 위해 클래스 가중치(저위험: 1, 고위험: 1.5)를 적용한다.
• 60일 간의 통화 기록을 입력으로 사용하여 향후 30일(단기) 및 180일(장기)의 참여 위험을 예측한다.
• 보건 종사자가 예측된 탈락 위험을 시각화하고 우선순위를 정할 수 있도록 실시간 대시보드를 구현한다.
• 17,288명의 수혜자로 구성된 코hort에서 ReNDiP를 사용해 모델 성능을 평가하기 위해 시범 연구를 수행하였으며, 최소 연결 기준(5회, 10회, 15회)을 설정하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 전화 기반 모성 건강 인식 프로그램에서 단기 및 장기 탈락 위험을 정확하게 예측할 수 있는가?
• RQ2 기준 모델 대비 제안된 ReNDiP/CoNDiP 모델의 성능 지표(정확도, 재현율, F1)는 어떻게 비교되는가?
• RQ3 현장 데이터를 활용한 실세계 배포 환경에서의 검증을 통해 모델의 예측 성능은 어느 정도 향상되는가?
• RQ4 최소 연결 기준이 실세계 조건에서 모델 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ5 SARS-CoV-2 팬데믹과 같은 외부 충격 요인이 있을 경우 모델의 성능은 유지되는가?

주요 결과

• ReNDiP 모델은 단기 탈락 예측에서 기준 모델 대비 13% 높은 성능을 보였으며(F1 점수: 0.76 vs. 0.72).
• 장기 탈락 예측에서는 ReNDiP가 기준 모델 대비 7% 향상된 성능을 보였다(F1 점수: 0.76 vs. 0.70).
• 시범 운영에서 15회 연결 기준에서 모델은 84%의 재현율을 기록했으며, 훈련 단계 결과보다 뚜렷하게 뛰어난 성능을 보였다.
• 최소 연결 기준이 높을수록 성능이 향상되어, 더 나은 행동 추정이 정확도 향상에 기여함을 시사한다.
• 2020년 3월 10일 이전의 패닉 이전 기간 동안에도 모델은 10회 연결 기준에서 F1 점수 85%를 기록해 외부 충격에 대한 강건성을 입증했다.
• 훈련 단계보다 시범 운영에서 성능이 뛰어난 것은 실세계 코hort에서 저위험 수혜자 비율이 더 높아졌기 때문일 가능성이 높다.