[論文レビュー] Missed calls, Automated Calls and Health Support: Using AI to improve maternal health outcomes by increasing program engagement

Siddharth Nishtala, Harshavardhan Kamarthi+9 more|arXiv (Cornell University)|Jun 13, 2020

Insurance, Mortality, Demography, Risk Management参考文献 17被引用数 9

ひとこと要約

本論文では、インドの女性が電話ベースの意識喚起プログラム（mMitra）に参加している状況において、匿名化された通話ログと人口統計データを活用して、母体保健プログラムからの離脱リスクを予測する深層学習モデルの使用を提案している。ReNDiPモデルは、短期的離脱予測で13%、長期的離脱予測で7%、ベースラインを上回る性能を示し、参加率の向上と母体健康の改善を実現するためのターゲット型AI駆動の介入を可能にする。

ABSTRACT

India accounts for 11% of maternal deaths globally where a woman dies in childbirth every fifteen minutes. Lack of access to preventive care information is a significant problem contributing to high maternal morbidity and mortality numbers, especially in low-income households. We work with ARMMAN, a non-profit based in India, to further the use of call-based information programs by early-on identifying women who might not engage on these programs that are proven to affect health parameters positively.We analyzed anonymized call-records of over 300,000 women registered in an awareness program created by ARMMAN that uses cellphone calls to regularly disseminate health related information. We built robust deep learning based models to predict short term and long term dropout risk from call logs and beneficiaries' demographic information. Our model performs 13% better than competitive baselines for short-term forecasting and 7% better for long term forecasting. We also discuss the applicability of this method in the real world through a pilot validation that uses our method to perform targeted interventions.

研究の動機と目的

• インドにおける母体死亡率の低減を目的とし、電話ベースの母体保健啓発プログラムにおける離脱率の低減。
• 通話履歴と人口統計データに基づく予測モデリングを用いて、mMitraプログラムから離脱するおそれがある女性を特定すること。
• 未受信通話のリマインダー、パーソナライズドコンサルテーションなどのタイムリーかつターゲット型の介入を可能にする、実装可能なAIツールの開発。
• 保健ワーカーを活用したパイロット導入を通じて、モデルの実世界での有効性を検証すること。
• AI駆動の早期リスク特定を通じて参加率を向上させ、母体健康の改善を図ること。

提案手法

• mMitraプログラムに登録された30万人を超える女性の匿名化された通話ログと人口統計データを用いて、深層学習モデル（ReNDiP、CoNDiP）を訓練する。
• 通話頻度、時刻、人口統計変数から得られる特徴量を用いて、離脱予測を教師あり学習のタスクとして定式化する。
• 学習データにおけるクラスの不均衡に対処するため、低リスクを1、高リスクを1.5のクラスウェイトを適用する。
• 60日分の通話履歴を入力として、次30日間の短期的（次30日）および次180日間の長期的（次180日）な参加リスクを予測する。
• 保健ワーカーが予測された離脱リスクを可視化し、優先順位をつけて対応できるリアルタイムダッシュボードを導入する。
• 17,288人の受益者を対象に、ReNDiPを用いたパイロット研究を実施し、最小接続回数のしきい値（5回、10回、15回）を設定して評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、電話ベースの母体保健啓発プログラムにおける短期的および長期的離脱リスクを正確に予測できるか？
• RQ2 ベースラインモデルと比較して、提案されたReNDiP／CoNDiPモデルの性能指標（正解率、再現率、F1スコア）はどのように異なるか？
• RQ3 現実世界の導入環境でフィールドデータを用いて検証した場合、モデルの予測性能はどの程度向上するか？
• RQ4 最小接続回数のしきい値を含めることで、実世界の状況におけるモデルの性能と信頼性はどのように変化するか？
• RQ5 SARS-CoV-2パンデミックなどの外部要因が影響を及える状況でも、モデルの性能は安定しているか？

主な発見

• ReNDiPモデルは、短期的離脱予測において、競合するベースラインを13%上回る性能を示し、F1スコアは0.76（ベースラインは0.72）であった。
• 長期的離脱予測においても、ReNDiPはベースラインを7%上回り、F1スコアは0.76（ベースラインは0.70）であった。
• パイロット導入では、15回の接続回数しきい値で84%の再現率を達成し、トレーニングフェーズの結果を著しく上回った。
• より高い最小接続回数しきい値を設定するほど性能が向上したため、行動の正確な推定が予測精度を高めることを示している。
• パンデミック発生前の期間（2020年3月10日）においても、10回の接続回数しきい値で85%のF1スコアを記録し、外部要因への耐性が高いことが示された。
• パイロット環境ではトレーニングフェーズの結果よりもモデルの性能が著しく優れており、これは現実世界の被験者に低リスクの被験者がより多く含まれていたためと考えられる。