[論文レビュー] Power Constrained Bandits

Jiayu Yao, Emma Brunskill+3 more|PubMed|Apr 13, 2020

Advanced Bandit Algorithms Research参考文献 39被引用数 15

ひとこと要約

本稿では、モバイルヘルスアプリケーションにおける治療効果の推定に必要な統計的パワーを保証しつつ、レグレットを最小限に抑えるために、既存の文脈的バンディットアルゴリズムを変更するメタアルゴリズムフレームワーク「パワーコンストレイント・バンディット」を提案する。情報共有を限定的に行い、アクションフリッピング、データドロップ、確率クリッピングのラッパーを適用することで、モデルの誤指定に対しても強力なパワーを確保する。多様な設定において、ほぼ理想に近いパワー（例：0.84–0.93）を達成する。

ABSTRACT

Contextual bandits often provide simple and effective personalization in decision making problems, making them popular tools to deliver personalized interventions in mobile health as well as other health applications. However, when bandits are deployed in the context of a scientific study-e.g. a clinical trial to test if a mobile health intervention is effective-the aim is not only to personalize for an individual, but also to determine, with sufficient statistical power, whether or not the system's intervention is effective. It is essential to assess the effectiveness of the intervention before broader deployment for better resource allocation. The two objectives are often deployed under different model assumptions, making it hard to determine how achieving the personalization and statistical power affect each other. In this work, we develop general meta-algorithms to modify existing algorithms such that sufficient power is guaranteed while still improving each user's well-being. We also demonstrate that our meta-algorithms are robust to various model mis-specifications possibly appearing in statistical studies, thus providing a valuable tool to study designers.

研究の動機と目的

• モバイルヘルスにおける介入の個別化と、治療効果を検出するのに十分な統計的パワーを保証するという二重の課題に対処すること。
• 臨床試験設計において、ユーザーのWell-beingを重視するレグレット最小化と、科学的推論を重視する統計的パワーという、対立する目的を調和させること。
• 既存のバンディットアルゴリズムに大幅な再実装を要せず、一般用途のメタアルゴリズムを開発すること。
• 特に非定常的または確率的なユーザー行動下でも、治療効果推定におけるモデル誤指定に対して強力な性能を発揮すること。
• アクション確率が0および1から遠く離れていることを保証することで、後向きのオフポリシー評価を可能とすること。

提案手法

• 既存の文脈的バンディットアルゴリズム（例：linUCB、ACTS、BOSE）をラップするメタアルゴリズムを提案し、パワー制約を強制する。
• 十分な探索を維持するための3つのラッパー戦略（アクションフリッピング、データドロップ、確率クリッピング）を導入する。
• パワーパーサービング・ポリシークラスを定義し、レグレット最小化のオラクルベンチマークを提供する。
• メタアルゴリズムとベースバンディットアルゴリズムとの間で情報共有メカニズムを適用し、パワーを損なわせずにパーソナライゼーションを向上させる。
• オフポリシー評価技術を用いて、展開後も結果を検証し、アクション確率が0および1から遠く離れていることを保証する。
• 潜在的アウトカムモデルに基づく統計的推論を用い、保証されたパワーで治療効果を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のレグレット最小化の文脈的バンディットアルゴリズムを、治療効果検出に必要な十分な統計的パワーを保証するように変更可能か？
• RQ2 治療効果構造におけるモデル誤指定下で、メタアルゴリズムの性能はどのように変化するか？
• RQ3 アクションフリッピングや確率クリッピングなどのラッパー戦略を適用した際の、レグレットとパワーのトレードオフはいかなるものか？
• RQ4 メタアルゴリズムは、オフポリシー評価を可能とするために、アクション確率が0および1から遠く離れていることを保証しながらもパワーを維持できるか？
• RQ5 実世界のモバイルヘルスシミュレーション環境において、メタアルゴリズムの性能はベースラインバンディットアルゴリズムと比べてどうなるか？

主な発見

• 提案されたメタアルゴリズムは、非線形および誤指定された治療効果モデルを含む、すべてのテスト設定で高い統計的パワー（例：0.84–0.93）を達成した。
• 確率クリッピングラッパーは、すべてのアルゴリズムと設定において、パワーが0.8を超えることを一貫して維持し、モデル誤指定下でも最も高いロバストネスを示した。
• linUCBは最も低いロバストネスを示し、誤指定下でパワーが0.5未満に低下したが、ACTSとBOSEはパワーが0.8を超えて維持した。
• アクションフリッピングラッパーは、固定π=0.5設定で最高のパワー（0.931 ± 0.016）を達成し、ベースラインアルゴリズムを上回った。
• メタアルゴリズムはオラクルポリシーに対するレグレットを低減し、クリッピング版ではモバイルヘルスシミュレータで2.104–2.219 × 10³のレグレットを達成し、最適値2.093 × 10³に近く、良好な性能を示した。
• モバイルヘルスシミュレータにおいて、確率クリッピングラッパーは0.901 ± 0.019のパワーを達成し、レグレットはたった0.025 × 10³にとどまり、優れたトレードオフ効率を示した。