[論文レビュー] Malaria Likelihood Prediction By Effectively Surveying Households Using Deep Reinforcement Learning

Pranav Rajpurkar, Vinaya Polamreddi+1 more|arXiv (Cornell University)|Nov 25, 2017

COVID-19 epidemiological studies参考文献 3被引用数 5

ひとこと要約

本論文では、高精度にマラリア発症リスクを予測しつつ調査の長さを最小限に抑えるために、家庭調査の質問を動的に選択する深層強化学習（DRL）エージェントを提案する。ケニア・マラリア指標調査2015年のデータで訓練されたDRLエージェントは、平均2.5問の質問で80%の予測精度を達成した。これは教師あり学習のベースラインと同等の性能を示したが、動的な質問選択により質問コストを顕著に削減した。

ABSTRACT

We build a deep reinforcement learning (RL) agent that can predict the likelihood of an individual testing positive for malaria by asking questions about their household. The RL agent learns to determine which survey question to ask next and when to stop to make a prediction about their likelihood of malaria based on their responses hitherto. The agent incurs a small penalty for each question asked, and a large reward/penalty for making the correct/wrong prediction; it thus has to learn to balance the length of the survey with the accuracy of its final predictions. Our RL agent is a Deep Q-network that learns a policy directly from the responses to the questions, with an action defined for each possible survey question and for each possible prediction class. We focus on Kenya, where malaria is a massive health burden, and train the RL agent on a dataset of 6481 households from the Kenya Malaria Indicator Survey 2015. To investigate the importance of having survey questions be adaptive to responses, we compare our RL agent to a supervised learning (SL) baseline that fixes its set of survey questions a priori. We evaluate on prediction accuracy and on the number of survey questions asked on a holdout set and find that the RL agent is able to predict with 80% accuracy, using only 2.5 questions on average. In addition, the RL agent learns to survey adaptively to responses and is able to match the SL baseline in prediction accuracy while significantly reducing survey length.

研究の動機と目的

• 家庭レベルのデータを用いて、個々のマラリアリスクを予測するための適応的でコスト効率の良いモバイル調査システムを開発すること。
• 正確なマラリアリスク予測に必要な調査の質問数を削減し、スケーラブルで低コストな疾患監視を可能にすること。
• 強化学習が、過去の回答に基づいて質問を動的に選択することで、固定質問の調査を上回る性能を示すかを検証すること。
• 実際の公衆衛生現場における、予測精度と調査長さのトレードオフを評価すること。
• ケニアのような高負荷地域において、適応的でモバイルベースの調査を実装可能であることを実証すること。

提案手法

• エージェントは、過去の回答に基づいて次の調査質問を選択するか、予測を行う方策を学習するため、ディープQネットワーク（DQN）を用いる。
• 行動空間には、可能な調査質問（n=8）ごとの行動と、予測クラス（c=2）ごとの行動が含まれ、各意思決定ステップで合計k+cの行動がある。
• 環境は、被覆の有無や電気の利用状況などのカテゴリカルな家庭変数から状態表現を提供し、バイオマーカーの結果を真値として提供する。
• 各質問に対しては小さな負の報酬（-0.05）が与えられ、正しい予測には大きな正の報酬（+1）が、誤った予測には大きなペナルティ（-1）が与えられる。
• 学習の安定化のため、経験再生とターゲットネットワークを用い、ε-greedy探索は50,000ステップにわたり1.0から0.01に段階的に低下させる。
• モデルは、マラリア状態との関連性をカイ二乗検定で選別した8つの重要な変数を用いて、2015年ケニア・マラリア指標調査の6,481世帯のデータで訓練された。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、質問数を最小限に抑えつつ、高い精度でマラリア発症状態を予測するため、調査質問を動的に選択する能力を学習できるか？
• RQ2 固定質問の教師あり学習ベースラインと比較して、適応的RLベースの調査の性能は、精度と調査長さの観点でどのように異なるか？
• RQ3 適応的質問選択を用いる場合、予測精度と調査コスト（質問数）の最適なトレードオフは何か？
• RQ4 RLエージェントは、応答履歴に基づいて最も情報量の多い質問を優先し、短いが正確な予測を可能にするか？
• RQ5 RLエージェントは、必要な照会数を顕著に削減しながら、教師ありベースラインと同等またはより優れた性能を達成できるか？

主な発見

• DRLエージェントはホールドアウトセットで80%の予測精度を達成し、最も性能の良い教師あり学習ベースラインと同等の性能を示した。
• 8回の質問まで許容された場合、RLエージェントは平均2.35問の質問しか使用しなかったが、SLベースラインはピーク精度に達するまでに8問を必要としていた。
• k=8のとき、SLベースラインは80%の精度を達成したが8問の質問を必要としていたのに対し、RLエージェントはわずか2.35回の平均質問数で同じ精度に到達した。
• k=8のとき、RLエージェントの平均エピソード報酬（0.47）はSLベースライン（0.20）を上回り、コストと精度のバランスが優れていることを示した。
• 十分な情報が集まった段階で早期に停止する能力をRLエージェントが学習しており、効果的な適応的質問選択行動を示した。
• 限られた質問予算（例：kmax=2）でも、RLエージェントは平均2回の質問で78%の精度を維持し、高い性能を発揮した。