[论文解读] Missed calls, Automated Calls and Health Support: Using AI to improve maternal health outcomes by increasing program engagement

Siddharth Nishtala, Harshavardhan Kamarthi+9 more|arXiv (Cornell University)|Jun 13, 2020

Insurance, Mortality, Demography, Risk Management参考文献 17被引用 9

一句话总结

本文提出利用深度学习模型，基于匿名通话记录和人口统计数据，预测参与印度电话式健康意识项目（mMitra）的女性在母婴健康项目中的脱落风险。ReNDiP 模型在短期预测中较基线模型提升 13%，长期预测中提升 7%，可实现基于 AI 的精准干预，从而提升参与度与母婴健康结果。

ABSTRACT

India accounts for 11% of maternal deaths globally where a woman dies in childbirth every fifteen minutes. Lack of access to preventive care information is a significant problem contributing to high maternal morbidity and mortality numbers, especially in low-income households. We work with ARMMAN, a non-profit based in India, to further the use of call-based information programs by early-on identifying women who might not engage on these programs that are proven to affect health parameters positively.We analyzed anonymized call-records of over 300,000 women registered in an awareness program created by ARMMAN that uses cellphone calls to regularly disseminate health related information. We built robust deep learning based models to predict short term and long term dropout risk from call logs and beneficiaries' demographic information. Our model performs 13% better than competitive baselines for short-term forecasting and 7% better for long term forecasting. We also discuss the applicability of this method in the real world through a pilot validation that uses our method to perform targeted interventions.

研究动机与目标

• 通过降低电话式母婴健康意识项目中的脱落率，解决印度较高的母婴死亡率问题。
• 基于通话历史和人口统计数据，利用预测模型识别可能脱离 mMitra 项目的女性。
• 开发可部署的 AI 工具，实现及时、精准的干预措施，如漏拨提醒和个性化咨询。
• 通过与卫生工作者合作的试点部署，验证模型在真实世界中的有效性。
• 通过 AI 驱动的早期风险识别，提升项目参与度，从而改善母婴健康结果。

提出的方法

• 在超过 30 万名参与 mMitra 项目的女性的匿名通话记录和人口统计数据上，训练深度学习模型（ReNDiP、CoNDiP）。
• 将脱落预测建模为监督学习任务，使用来自通话频率、时间安排及人口统计变量的特征。
• 采用类别加权（低风险为 1，高风险为 1.5）以缓解训练数据中的类别不平衡问题。
• 以 60 天的通话历史作为输入，预测未来 30 天（短期）和 180 天（长期）的参与风险。
• 部署实时仪表板，供卫生工作者可视化预测的脱落风险，并优先安排联络。
• 开展试点研究，使用 ReNDiP 模型评估在 17,288 名受益人中的模型性能，设定最低连接阈值（5、10、15）。

实验结果

研究问题

• RQ1 深度学习模型能否在电话式母婴健康意识项目中准确预测短期和长期的脱落风险？
• RQ2 与基线模型相比，ReNDiP/CoNDiP 模型在准确率、召回率、F1 等性能指标上的表现如何？
• RQ3 在真实世界部署环境中，结合现场数据验证时，模型的预测性能提升程度如何？
• RQ4 在真实条件下，最低连接阈值的引入如何影响模型性能与可靠性？
• RQ5 在考虑 SARS-CoV-2 大流行等外部干扰因素时，模型性能是否保持稳定？

主要发现

• ReNDiP 模型在短期脱落预测中相比竞争性基线模型性能提升 13%（F1 得分：0.76 vs. 0.72）。
• 在长期脱落预测中，ReNDiP 模型性能较基线提升 7%（F1 得分：0.76 vs. 0.70）。
• 在试点部署中，模型在 15 次连接阈值下达到 84% 的召回率，显著优于训练阶段结果。
• 随着最低连接阈值提高，性能持续改善，表明更精准的行为估计可提升预测准确性。
• 在疫情前时期（2020 年 3 月 10 日），模型在 10 次连接阈值下仍保持 85% 的 F1 得分，表明对突发事件具有强鲁棒性。
• 模型在试点中的表现显著优于训练阶段，可能是因为真实世界队列中低风险受益人比例更高。