[論文レビュー] Collapsing Bandits and Their Application to Public Health Interventions

Aditya Mate, Jackson A. Killian+3 more|arXiv (Cornell University)|Jul 5, 2020

Advanced Bandit Algorithms Research参考文献 28被引用数 15

ひとこと要約

本稿では、患者の状態を完全に特定できる介入が可能な公衆衛生スケジューリングを想定した、非定常マルチアームバンディットの新フレームワーク「コラプシングバンディット」を提案する。このフレームワークでは、不確実性が解消されるため、状態の不確実性が低減される。インデックス可能条件と最適なしきい値方策を導出し、ホイットルインデックスアルゴリズムを構築することで、最先端手法に比べ1,000倍の高速化を達成しながら、実世界の結核治療遵守データにおいても同等の性能を発揮した。

ABSTRACT

We propose and study Collpasing Bandits, a new restless multi-armed bandit (RMAB) setting in which each arm follows a binary-state Markovian process with a special structure: when an arm is played, the state is fully observed, thus "collapsing" any uncertainty, but when an arm is passive, no observation is made, thus allowing uncertainty to evolve. The goal is to keep as many arms in the "good" state as possible by planning a limited budget of actions per round. Such Collapsing Bandits are natural models for many healthcare domains in which workers must simultaneously monitor patients and deliver interventions in a way that maximizes the health of their patient cohort. Our main contributions are as follows: (i) Building on the Whittle index technique for RMABs, we derive conditions under which the Collapsing Bandits problem is indexable. Our derivation hinges on novel conditions that characterize when the optimal policies may take the form of either "forward" or "reverse" threshold policies. (ii) We exploit the optimality of threshold policies to build fast algorithms for computing the Whittle index, including a closed-form. (iii) We evaluate our algorithm on several data distributions including data from a real-world healthcare task in which a worker must monitor and deliver interventions to maximize their patients' adherence to tuberculosis medication. Our algorithm achieves a 3-order-of-magnitude speedup compared to state-of-the-art RMAB techniques while achieving similar performance.

研究の動機と目的

• 保健従事者が限られた日次訪問回数で患者を監視・治療する公衆衛生スケジューリング問題をモデル化すること。
• 部分観測性とリソース制約の下で、患者の治療遵守を維持する課題に対処すること。
• 2値状態のマルコフ過程と部分的状態観測を伴う非定常マルチアームバンディットに対して、高速かつスケーラブルなソリューションを開発すること。
• 問題がインデックス可能である理論的条件、および最適方策がしきい値型であることを保証する条件を確立すること。
• 実世界および合成データを用いた評価を通じて、高い効率性と優れた性能を示すこと。

提案手法

• アームをプレイすることで真の状態が完全に特定され、不確実性が解消されるという特徴を持つ、非定常マルチアームバンディットの新クラス「コラプシングバンディット」を提案。非観測のアームは観測なしに進化を続ける。
• ホイットルインデックス理論を用いて、インデックス可能性の十分条件を導出し、最適方策が前方または逆方向のしきい値方策である場合を特定する。
• しきい値方策の最適性に基づき、閉形式でのホイットルインデックス計算手法を開発。これにより、高速なインデックス計算が可能になる。
• ラグランジュ緩和と双対分解を用いて、制約付きRMAB問題を緩和された問題に変換。これにより、インデックスに基づくヒューリスティクスで解けるようになる。
• 特に前方しきい値方策における信念が非増加となる場合に効率的にインデックスを計算できる高速アルゴリズムを実装。
• 実世界の結核治療遵守データと、遷移ダイナミクスや不確実性レベルが異なる合成分布を用いて、手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 コラプシングバンディット問題は、ホイットルインデックス手法を用いてどのような条件下でインデックス可能となるか？
• RQ2 コラプシングバンディットの最適方策は、どのような場合に前方または逆方向のしきい値方策の形を取るか？
• RQ3 このクラスのRMABに対して、閉形式でのホイットルインデックスを導出可能か？ これにより、スケーラブルな計算が可能になるか？
• RQ4 提案手法は、実世界および合成の医療スケジューリングタスクにおいて、最先端のRMAB技術と比較してどのように性能を発揮するか？
• RQ5 理論的に保証された最適性条件を満たさないプロセスに適用した場合、アルゴリズムのロバストネスはどの程度高いか？

主な発見

• 提案手法は、実世界の結核治療遵守データにおいて、最先端のRMAB手法に比べ3桁の速度向上（1,000倍以上）を達成した。
• 顕著な高速化にもかかわらず、実世界データでは最良の既存手法（オラクル）と同等の性能を発揮した。
• 合成ドメインでは、前方しきい値最適プロセスの割合がたった20％程度であっても、強力な性能を維持しており、理論的保証を超えたロバストネスを示した。
• 自己修復的プロセスが支配的であるが、長期戦略では回復不能な選択が好ましいような状況では、ホイットルインデックスアプローチが一時的利得に惑わされるマイオピック方策を上回った。
• 状態の不確実性が最も顕著に現れるのは、信念エントロピーが0.5付近のときであり、高不確実性領域では長期的計画の重要性が確認された。
• 理論的分析により、特定の条件下ではしきい値方策が最適であることが確認され、導出された閉形式インデックスにより、正確性を損なわずに効率的な計算が可能になった。