[論文レビュー] Finding a most biased coin with fewest flips

Karthekeyan Chandrasekaran, Richard M. Karp|arXiv (Cornell University)|Feb 16, 2012

Advanced Bandit Algorithms Research参考文献 22被引用数 5

ひとこと要約

本稿では、後方確率的モデルと無関心領域仮定の下で、最も偏ったコインを特定するのに必要な期待投げ回数を最小化する最適な適応的アルゴリズムを提示する。各段階で将来の投げ回数の期待値を最小化する尤度に基づく戦略を用いることで、マルコフゲーム理論を用いた証明的最適性が得られ、サンプル複雑度に対してタイトな境界が得られ、非適応的およびヒューリスティックな手法を上回る性能を発揮する。

ABSTRACT

We study the problem of learning a most biased coin among a set of coins by tossing the coins adaptively. The goal is to minimize the number of tosses until we identify a coin i* whose posterior probability of being most biased is at least 1-delta for a given delta. Under a particular probabilistic model, we give an optimal algorithm, i.e., an algorithm that minimizes the expected number of future tosses. The problem is closely related to finding the best arm in the multi-armed bandit problem using adaptive strategies. Our algorithm employs an optimal adaptive strategy -- a strategy that performs the best possible action at each step after observing the outcomes of all previous coin tosses. Consequently, our algorithm is also optimal for any starting history of outcomes. To our knowledge, this is the first algorithm that employs an optimal adaptive strategy under a Bayesian setting for this problem. Our proof of optimality employs tools from the field of Markov games.

研究の動機と目的

• 最も偏ったコインを事後確率が少なくとも $1-\delta$ 以上である確率で特定するために必要な期待投げ回数を最小化すること。
• 観測結果に基づいて各ステップで最適な行動を取る適応的戦略を開発し、将来のコストの期待値を最小化すること。
• 最も偏ったコインと2番目に偏ったコインの間の既知のギャップ $\epsilon$ を持つ無関心領域仮定を含むベイズ設定下での戦略の最適性を証明すること。
• 非適応的およびヒューリスティックな手法よりも優れる、期待投げ回数のタイトな上界を確立すること。
• ベイズ更新を伴う逐次的ベイズ意思決定問題における適応的方策の最適性を形式的に証明する理論的基盤を、純粋な探索の分野で拡張すること。

提案手法

• アルゴリズムは、次のコインを投げる選択を、情報量の増加を最大化する尤度比に基づく意思決定ルールを用いる。
• 最も偏ったコインである確率の事後分布を維持し、停止条件に到達するまでの将来の投げ回数の期待値を最小にするコインを選択する。
• 問題を吸収状態を伴う確率的制御問題としてモデル化し、マルコフゲームの道具を用いることで、戦略の最適性を証明する。
• コインが重いかそうでないかの対数尤度比に関する1次元のランダムウォークを用い、吸収壁は $B$ と $0$ に設定する。
• 主要な式は、再帰的期待値を用いた期待投げ回数 $E$ の上限を導出し、凸性と幾何級数近似を用いて上界を導出する。
• アルゴリズムはコインの偏りに関する事前分布から初期化され、各投げの後で事後分布を動的に更新することで、任意の履歴に適応する。

実験結果

リサーチクエスチョン

• RQ1 高い事後信頼度で最も偏ったコインを特定するために、期待投げ回数を最小化する適応的戦略を設計できるか？
• RQ2 各意思決定ポイントで将来の投げ回数の期待値を最小化するという観点から、証明的に最適なベイズ戦略は存在するか？
• RQ3 無関心領域仮定の下で、最適な適応的戦略のサンプル複雑度は、非適応的またはヒューリスティックな手法と比較してどうなるか？
• RQ4 逐次的ベイズ意思決定問題における適応的方策の最適性を形式的に証明するために、どのような数学的道具が使えるか？
• RQ5 $n$ 個のコインのうち、正確に1つだけが重いというような依存関係がある設定に、この戦略を一般化できるか？

主な発見

• 提案されたアルゴリズムは、無関心領域仮定を伴うベイズモデル下で、各ステップにおける将来の投げ回数の期待値を最小化するという点で、証明的に最適である。
• 期待投げ回数は $O\left(\frac{1}{\epsilon} \cdot \frac{1}{p+\epsilon}\right)$ で有界であり、ここで $\epsilon$ は最小のバイアスギャップ、$p$ は最も偏ったコインの事前バイアスである。
• アルゴリズムは定数要因を除いて最適なサンプル複雑度を達成し、非適応的戦略が $O(n/\epsilon^2 \log(1/\delta))$ 回の投げを要するのを改善する。
• 最適性の証明は、問題をマルコフゲームとしてモデル化し、尤度比の凸性と幾何級数の上限を用いる。
• 任意の投げ履歴からの初期化が可能であるため、任意の初期状態に対して頑健である。
• 期待投げ回数の上界は、再帰的期待値と対数尤度比のランダムウォークにおける吸収確率の比の上限を用いて導出される。