[论文解读] Malaria Likelihood Prediction By Effectively Surveying Households Using Deep Reinforcement Learning

Pranav Rajpurkar, Vinaya Polamreddi+1 more|arXiv (Cornell University)|Nov 25, 2017

COVID-19 epidemiological studies参考文献 3被引用 5

一句话总结

本文提出了一种深度强化学习（DRL）智能体，通过自适应选择家庭调查问题，在最小化调查长度的同时实现高精度预测疟疾风险。该智能体在2015年肯尼亚疟疾指标调查数据上进行训练，平均仅使用2.5个问题即达到80%的预测准确率，与监督学习基线模型表现相当，但通过自适应提问显著降低了查询成本。

ABSTRACT

We build a deep reinforcement learning (RL) agent that can predict the likelihood of an individual testing positive for malaria by asking questions about their household. The RL agent learns to determine which survey question to ask next and when to stop to make a prediction about their likelihood of malaria based on their responses hitherto. The agent incurs a small penalty for each question asked, and a large reward/penalty for making the correct/wrong prediction; it thus has to learn to balance the length of the survey with the accuracy of its final predictions. Our RL agent is a Deep Q-network that learns a policy directly from the responses to the questions, with an action defined for each possible survey question and for each possible prediction class. We focus on Kenya, where malaria is a massive health burden, and train the RL agent on a dataset of 6481 households from the Kenya Malaria Indicator Survey 2015. To investigate the importance of having survey questions be adaptive to responses, we compare our RL agent to a supervised learning (SL) baseline that fixes its set of survey questions a priori. We evaluate on prediction accuracy and on the number of survey questions asked on a holdout set and find that the RL agent is able to predict with 80% accuracy, using only 2.5 questions on average. In addition, the RL agent learns to survey adaptively to responses and is able to match the SL baseline in prediction accuracy while significantly reducing survey length.

研究动机与目标

• 开发一种基于移动设备的自适应、低成本调查系统，利用家庭层面数据预测个体疟疾风险。
• 减少准确预测疟疾风险所需的家庭调查问题数量，实现可扩展且低成本的疾病监测。
• 探究强化学习是否能通过根据先前回答动态选择问题，优于固定问题的调查方式。
• 评估在现实公共卫生场景中，预测准确率与调查长度之间的权衡关系。
• 证明在肯尼亚等疟疾高负担地区，部署自适应、基于移动设备的调查在实现及时高效疟疾监测方面具有可行性。

提出的方法

• 该智能体使用深度Q网络（DQN）学习一种策略，根据先前的回答选择下一个调查问题或做出预测。
• 动作空间包括每个可能的调查问题（n=8）一个动作，以及每个预测类别（c=2）一个动作，每个决策步骤共k+c个动作。
• 环境提供来自分类家庭变量（如蚊帐使用情况、电力供应）的状态表示，生物标志物结果作为真实标签。
• 智能体每提出一个问题即获得小幅负奖励（-0.05），正确预测则获得大幅正奖励（+1），错误预测则受到重大惩罚（-1）。
• 训练使用经验回放和目标网络以稳定学习，ε-greedy探索策略在50k步内从1.0线性衰减至0.01。
• 模型在2015年肯尼亚疟疾指标调查的6,481个家庭数据上进行训练，通过卡方检验筛选出8个与疟疾状态相关的关键变量。

实验结果

研究问题

• RQ1 强化学习智能体能否学会自适应地选择调查问题，在最小化问题数量的同时实现高精度预测疟疾状态？
• RQ2 与固定问题的监督学习基线相比，基于强化学习的自适应调查在准确率和调查长度方面表现如何？
• RQ3 在采用自适应提问时，预测准确率与调查成本（问题数量）之间的最优权衡是什么？
• RQ4 强化学习智能体是否学会根据回答历史优先选择最具信息量的问题，从而实现更短但准确的预测？
• RQ5 强化学习智能体能否在显著减少所需查询次数的同时，实现与监督基线相当或更优的性能？

主要发现

• DRL智能体在保留测试集上达到80%的预测准确率，与表现最佳的监督学习基线模型相当。
• 当允许最多8次查询时，RL智能体平均仅使用2.35个问题，远少于SL基线模型在达到峰值准确率时使用的8个问题。
• 在k=8时，SL基线模型达到80%准确率需使用8个问题，而RL智能体仅以平均2.35个问题即达到相同准确率。
• 在k=8时，RL智能体的平均回合奖励（0.47）优于SL基线模型（0.20），表明其在成本与准确率之间实现了更好的平衡。
• RL智能体学会在信息足够时提前停止提问，展现出有效的自适应提问行为。
• 即使在有限的查询预算下（如kmax=2），该智能体仍保持高性能，平均仅使用2个问题即达到78%的准确率。