[論文レビュー] Optimizing Adaptive Experiments: A Unified Approach to Regret Minimization and Best-Arm Identification

Chao Qin, Daniel Russo|arXiv (Cornell University)|Feb 16, 2024

Advanced Statistical Process MonitoringDecision Sciences被引用数 3

ひとこと要約

本稿は、実験段階と展開段階における別個のコストを有する一般化されたバンディットモデルを導入することで、適応的実験におけるレグレット最小化とベストアーム同定を統一する。漸近的に最適な方策は、探索のための情報バランスと調整可能な利用速度にのみ依存することを確立し、トップツー・トマソンサンプリングのようなアルゴリズムが、単一のスカラーパrameterを用いて広範な目的に適応可能となる。実験期間の大幅な短縮に対しても、最小限のレグレット増加が実現可能である。

ABSTRACT

Practitioners conducting adaptive experiments often encounter two competing priorities: maximizing total welfare (or `reward') through effective treatment assignment and swiftly concluding experiments to implement population-wide treatments. Current literature addresses these priorities separately, with regret minimization studies focusing on the former and best-arm identification research on the latter. This paper bridges this divide by proposing a unified model that simultaneously accounts for within-experiment performance and post-experiment outcomes. We provide a sharp theory of optimal performance in large populations that not only unifies canonical results in the literature but also uncovers novel insights. Our theory reveals that familiar algorithms, such as the recently proposed top-two Thompson sampling algorithm, can optimize a broad class of objectives if a single scalar parameter is appropriately adjusted. In addition, we demonstrate that substantial reductions in experiment duration can often be achieved with minimal impact on both within-experiment and post-experiment regret.

研究の動機と目的

• 文献において現在別個の問題として扱われている、適応的実験におけるレグレット最小化とベストアーム同定のギャップを埋めること。
• 実験内での処置コストと実験後の展開結果の両方を考慮する統一された理論的枠組みを構築すること。
• 大規模集団における実験期間と総レグレットの間の漸近的トレードオフを特定すること。
• 各期間のコスト関数に依存しない、漸近的に効率的な方策の構造的性質を同定すること。
• 累積レグレットへの影響が最小限に抑えられる範囲で、実験期間を著しく短縮可能かどうかを示すこと。

提案手法

• 処置コストが実験段階と展開段階で別々にモデル化される一般化されたマルチアームバンディットモデルを提案。各期間のコスト関数を別個に定義する。
• 集団サイズの対数スケーリングに従う正規化性能指標を導入し、レグレット最小化におけるLaiとRobbins（1985）と類似の形を取る。
• 最適な探索割り当ては情報バランスの原則に従うことが特定された。劣化したアームに対する証拠の蓄積速度が等しくなる必要がある。この原則はコスト関数に依存しない。
• コストに配慮した最適化は、単一の利用速度パラメータの調整に帰着され、探索の分布は統計的バランスに完全に依存する。
• 二対のゼロサムゲームの定式化を用いて、ベストアーム同定の複雑度定数を、LaiとRobbins（1985）と類似した形に再表現する。
• 理論を応用して、実験期間と総レグレットのパレートフロンティアを特定し、正確な漸近的トレードオフを導出する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、1つの適応的実験フレームワーク内で、レグレット最小化とベストアーム同定を正式に統一できるか？
• RQ2 異なった各期間コスト関数が存在する状況下で、漸近的に効率的な方策の構造的性質は何か？
• RQ3 累積レグレットへの影響が著しくない範囲で、どの程度まで実験期間を短縮可能か？
• RQ4 既存のバンディットアルゴリズムは、最小限の変更で広範な目的を最適化可能か？
• RQ5 大規模集団において、実験期間と総レグレットの正確な漸近的トレードオフは何か？

主な発見

• ベストアーム同定の最適複雑度定数は、二対のゼロサムゲームの価値として再表現され、変数変換によりLaiとRobbins（1985）の形と一致する。
• 漸近的に効率的な方策は、コスト関数にほとんど依存しない。探索の努力は、劣化アームに対する統計的証拠のバランスを取るように割り当てるべきである。
• トップツー・トマソンサンプリングアルゴリズムは、ガウス型バンディットにおいて漸近的に効率的であり、情報バランス条件を満たしている。
• 実験期間の大幅な短縮が可能であり、累積レグレットへの影響は最小限である。一部の状況では、実験期間を50％短縮しても、総レグレットは5％未満の増加に抑えられる。
• 実験期間と総レグレットのパレートフロンティアは正確に特定され、β ∈ (β_BAI, 1) でパrameter化された方策によって、最小の正規化期間とレグレットが達成される。
• ガウス型バンディットでは、正規化レグレットが R_θ^(β) ≤ (1/β) R_θ^(1) とスケーリングされ、β → 1 に近づくとレグレットが 1/β に線形に増加することが示された。