[論文レビュー] The Finite-Horizon Two-Armed Bandit Problem with Binary Responses: A Multidisciplinary Survey of the History, State of the Art, and Myths

Peter Jacko|arXiv (Cornell University)|Jun 20, 2019

Advanced Bandit Algorithms Research参考文献 64被引用数 9

ひとこと要約

この論文は、2つの腕のバンディット問題における有限時間枠組みと二値反応を、マーカフ連鎖意思決定過程（MDP）フレームワーク、ベータ分布によるベイズ更新、およびジュリア言語を用いた正確な動的計画法計算を用いて統一的かつ評価している。動的計画法が一般的に信じられているよりもはるかに大きな時間枠に対して実行可能であることを示し、インデックスルールに関する6つの神話（myth）を解体し、BLFF+BMのような単純な設計が複雑なヒューリスティクスを上回ることを示している。

ABSTRACT

In this paper we consider the two-armed bandit problem, which often naturally appears per se or as a subproblem in some multi-armed generalizations, and serves as a starting point for introducing additional problem features. The consideration of binary responses is motivated by its widespread applicability and by being one of the most studied settings. We focus on the undiscounted finite-horizon objective, which is the most relevant in many applications. We make an attempt to unify the terminology as this is different across disciplines that have considered this problem, and present a unified model cast in the Markov decision process framework, with subject responses modelled using the Bernoulli distribution, and the corresponding Beta distribution for Bayesian updating. We give an extensive account of the history and state of the art of approaches from several disciplines, including design of experiments, Bayesian decision theory, naive designs, reinforcement learning, biostatistics, and combination designs. We evaluate these designs, together with a few newly proposed, accurately computationally (using a newly written package in Julia programming language by the author) in order to compare their performance. We show that conclusions are different for moderate horizons (typical in practice) than for small horizons (typical in academic literature reporting computational results). We further list and clarify a number of myths about this problem, e.g., we show that, computationally, much larger problems can be designed to Bayes-optimality than what is commonly believed.

研究の動機と目的

• 実験設計、ベイズ意思決定理論、生物統計学、強化学習の分野を横断して用語とモデリング手法を統一すること—特に二値反応を伴う有限時間枠組みの2腕バンディット問題に焦点を当てる。
• ベルヌーイ反応と共役事前分布（ベータ分布）を備えた標準化されたマーカフ連鎖意思決定過程（MDP）モデルを提示すること。
• 正確な動的計画法計算を用いて、既存および新規に提案された設計の性能を評価すること—シミュレーションではなく、正確な計算を基準とする。
• 有限時間枠組みのバンディット問題におけるインデックスルール、計算限界、最適性に関する広く共有されている誤解（神話）を挑戦し、明確化すること。
• 動的計画法が中程度から大きな時間枠に対しても計算的に実行可能であることを示すこと—一般的な信念とは対照的に。

提案手法

• 成功確率の事後分布を状態として定義するマーカフ連鎖意思決定過程（MDP）フレームワーク内で2腕バンディット問題を形式化する。
• 共役事前分布（ベータ分布）と尤度関数（ベルヌーイ分布）を用いて、各被験者の二値反応後に正確なベイズ更新を可能にする。
• 後退的再帰を用いて最適方策の正確な計算を実施し、シミュレーションバイアスを回避する。
• 有限時間枠組みに対して正確にベイズ最適方策を計算できるカスタムJuliaパッケージを開発する。
• Gittins、UCB、ミノック的（Myopic）、反応適応型ルールを含む12種類の設計を、成功確率が異なる12の標準化されたシナリオで評価する。
• 平均リグレット（最適方策に対する成功数の損失）を指標として用い、正確な動的計画法をベンチマークとして、設計間の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 ナイーブ、ベイズ的、インデックスベース、適応型の各戦略が、有限時間枠組みにおいて平均リグレットという観点でどの程度の性能を示すか？
• RQ2 二値反応を伴う有限時間枠組みの2腕バンディット問題に対して、動的計画法はどの程度計算的に実行可能か？
• RQ3 無限時間枠組みでは理論的に保証されるにもかかわらず、有限時間枠組みでは性能が劣るヒューリスティクス（例：UCB や Gittins）はなぜそのような結果を示すのか？
• RQ4 動的計画法やインデックスルールに関する一般的に共有されている制限に関する信念は真実か、それとも神話か？
• RQ5 BLFF+BM のような単純な設計が、理論的に洗練されたルールよりも、実用的な有限時間枠組みの状況で優れた性能を発揮できるか？

主な発見

• 動的計画法は、一般的に信じられているよりもはるかに大きな時間枠に対して計算的に実行可能である—最適方策は正確に T=1200 まで計算可能であり、非実行可能性の神話に反する。
• BLFF+BM および BLFF+BMSF の設計は、UCB や Gittins ベースのルールを含む、多くのより洗練されたヒューリスティクスを複数のシナリオで上回っている。
• 2UCB および 1UCB の設計は、最適方策と比較して平均リグレットが5〜10倍も高く、有限時間枠組みでは近似的に最適ではないことが示された。
• UCBの係数を理論的境界を超えて調整（例：0.18 に設定）することで、平均リグレットは半減するが、依然として顕著に劣る性能を示している。
• 頻度的平均リグレットは、T が増加するにつれて必ずしも増加するわけではない—一部のケースでは減少するか、非増加のままとなることがあり、これは有限設定において Lai-Robbins の log T の下界と矛盾する。
• Gittins インデックスルールは、割引率ゼロの有限時間枠組みでは完全な学習を達成するが、これは「不完全学習を引き起こす」という神話とは対照的である—これは割引率が正のケースでのみ成立する。