[論文レビュー] A framework for optimizing COVID-19 testing policy using a Multi Armed Bandit approach

Hagit Grushka-Cohen, Raphaël Cohen+3 more|arXiv (Cornell University)|Jul 28, 2020

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

本論文は、症例の同定（活用）と偏りのない集団監視（探索）の両方をバランスさせるために、マルチアームド・バンディット（MAB）に基づくフレームワークを提案する。イスラエル保健省の症候データを用いて、予測モデルにより個人をランク付けし、10%の検査容量で66.6%のリcallを達成、70%で92.1%を達成した。同時に、フィルターバブルを回避し意思決定を向上させるために、探索的サンプリングに容量を確保した。

ABSTRACT

Testing is an important part of tackling the COVID-19 pandemic. Availability of testing is a bottleneck due to constrained resources and effective prioritization of individuals is necessary. Here, we discuss the impact of different prioritization policies on COVID-19 patient discovery and the ability of governments and health organizations to use the results for effective decision making. We suggest a framework for testing that balances the maximal discovery of positive individuals with the need for population-based surveillance aimed at understanding disease spread and characteristics. This framework draws from similar approaches to prioritization in the domain of cyber-security based on ranking individuals using a risk score and then reserving a portion of the capacity for random sampling. This approach is an application of Multi-Armed-Bandits maximizing exploration/exploitation of the underlying distribution. We find that individuals can be ranked for effective testing using a few simple features, and that ranking them using such models we can capture 65% (CI: 64.7%-68.3%) of the positive individuals using less than 20% of the testing capacity or 92.1% (CI: 91.1%-93.2%) of positives individuals using 70% of the capacity, allowing reserving a significant portion of the tests for population studies. Our approach allows experts and decision-makers to tailor the resulting policies as needed allowing transparency into the ranking policy and the ability to understand the disease spread in the population and react quickly and in an informed manner.

研究の動機と目的

• 新型コロナウイルス感染症のパンデミック期における限られた検査容量の課題に対処し、優先順位を最適化するポリシーを提供すること。
• 症状のある者や高リスク者に偏った検査ポリシーが引き起こすフィルターバブル問題を軽減すること。
• 公衆衛生意思決定者が検査ポリシーの制御を維持しつつ、検出効率と監視の正確性を向上させること。
• 変化する流行動態に適応するため、データドリブンな再訓練を可能にするリスクモデルの動的再構築を支援すること。
• 原理的MABフレームワークを用いて、陽性症例の同定（活用）と、偏りのない集団レベルのデータ収集（探索）の両方をバランスさせること。

提案手法

• 活用（高リスク者への検査）と探索（ランダムまたは標的的サンプリング）の両方をバランスさせるマルチアームド・バンディット（MAB）フレームワークを適用する。
• 発熱、せき、だるさなどの症状に基づいてトレーニングされたリスクスコアリングモデルを用い、検査優先順位を決定する。
• 30–60%程度の検査容量を、ランダムまたは地理的に階層化されたサンプリングに割り当て、偏りのない監視を保証する。
• 異なる流行波の逐次的データ（例：第1波、第2波）を用いて、予測モデル（例：多項式カーネルを用いたSVM、線形SVM、ルールベースモデル）をトレーニングおよび再トレーニングする。
• 情報収穫量を最大化するため、トマソンサンプリングや類似手法を用いて探索をガイドする。
• 専門家による制御を統合し、探索／活用のトレードオフを手動で調整可能とし、人口統計学的要因や位置情報などの動的特徴の追加を可能にする。

実験結果

リサーチクエスチョン

• RQ1 限られた検査容量のもとで、データドリブンなランク付けモデルが、偏りのない集団監視のための容量を維持しつつ、検査優先順位を効果的に決定できるか。
• RQ2 多項式SVM、線形SVM、ルールベースモデルなどの異なるモデルの性能（リcallとF1スコア）は、限られた検査容量下でどのように比較されるか。
• RQ3 第1波と第2波の異なる流行段階のデータを用いてモデルを再トレーニングした場合、同定性能にどのような影響が生じるか。
• RQ4 探索に割り当てた容量を増やすことで、新しい感染クラスターの検出や公衆衛生意思決定の正確性にどのような影響が生じるか。
• RQ5 透明性があり説明可能なMABフレームワークは、一時的なポリシーや完全に活用志向のポリシーに比べて、どの程度改善をもたらすか。

主な発見

• 検査容量の10%のみを割り当てた場合、陽性症例の同定で66.6%（95%信頼区間：64.7%–68.3%）のリcallを達成し、高い検出効率を示した。
• 検査容量を70%に増やした場合、全陽性症例の92.1%（95%信頼区間：91.1%–93.2%）を同定した。これは、スケーラビリティと高い性能を示している。
• F1スコアにおいて、多項式SVMモデルが線形SVMおよびルールベースモデルを上回り、特に容量閾値が高い場合に顕著であった。
• 第2波（週21–23）のデータを用いてモデルを再トレーニングした場合、第1波モデルに比べ、低い容量（例：30%の探索）でもより高いリcallが得られた。
• 探索容量を60%に増やした場合、第2波モデルが第1波モデルをリcall面で上回った。これは、モデルのドリフトが生じており、動的再トレーニングの必要性を示している。
• 本フレームワークにより、専門家はポリシー意思決定の制御を維持しつつ、データドリブンで透明性があり調整可能なモデルを用いて、検出と監視の両方を向上させることができる。