[论文解读] Finding a most biased coin with fewest flips

Karthekeyan Chandrasekaran, Richard M. Karp|arXiv (Cornell University)|Feb 16, 2012

Advanced Bandit Algorithms Research参考文献 22被引用 5

一句话总结

本文提出了一种在贝叶斯模型与无差别区域假设下，以最少期望投掷次数识别最偏倚硬币的最优自适应算法。通过使用基于似然比的策略，在每一步最小化未来期望投掷次数，该算法利用马尔可夫博弈理论证明了其最优性，并提供了样本复杂度的紧致上界，优于非自适应和启发式方法。

ABSTRACT

We study the problem of learning a most biased coin among a set of coins by tossing the coins adaptively. The goal is to minimize the number of tosses until we identify a coin i* whose posterior probability of being most biased is at least 1-delta for a given delta. Under a particular probabilistic model, we give an optimal algorithm, i.e., an algorithm that minimizes the expected number of future tosses. The problem is closely related to finding the best arm in the multi-armed bandit problem using adaptive strategies. Our algorithm employs an optimal adaptive strategy -- a strategy that performs the best possible action at each step after observing the outcomes of all previous coin tosses. Consequently, our algorithm is also optimal for any starting history of outcomes. To our knowledge, this is the first algorithm that employs an optimal adaptive strategy under a Bayesian setting for this problem. Our proof of optimality employs tools from the field of Markov games.

研究动机与目标

• 最小化识别出后验概率至少为 $1-\delta$ 的最偏倚硬币所需的期望投掷次数。
• 设计一种自适应策略，在每一步基于观测结果执行最优动作，确保未来成本的期望最小化。
• 在具有无差别区域假设的贝叶斯设定下（即最偏倚与第二偏倚硬币之间存在已知差距 $\epsilon$），证明该策略的最优性。
• 建立期望投掷次数的紧致上界，优于非自适应和启发式策略。
• 通过在贝叶斯更新下引入一个可证明最优的自适应策略，拓展纯探索在多臂赌博机中的理论基础。

提出的方法

• 该算法使用基于似然比的决策规则，选择下一次投掷的硬币，以每投掷一次实现最大信息增益。
• 它维护硬币为最偏倚的后验概率，并选择能使达到停止条件的未来投掷次数期望最小的硬币。
• 该策略通过马尔可夫博弈工具证明其最优性，将过程建模为具有吸收态的随机控制问题。
• 该方法在硬币为“重”与“非重”的对数似然比上进行一维随机游走，吸收边界位于 $B$ 和 $0$。
• 关键方程涉及通过递归期望来界定期望投掷次数 $E$，并利用凸性与几何级数近似推导上界。
• 该算法从硬币偏倚的先验分布初始化，并在每次投掷后动态更新后验分布，确保对任意历史的适应性。

实验结果

研究问题

• RQ1 能否设计一种自适应策略，使识别出高后验置信度的最偏倚硬币所需的期望投掷次数最小化？
• RQ2 是否存在一种贝叶斯策略，可在每个决策点上严格证明其最小化未来期望投掷次数？
• RQ3 在无差别区域假设下，最优自适应策略的样本复杂度与非自适应或启发式策略相比如何？
• RQ4 可使用哪些数学工具来形式化证明在序列贝叶斯决策问题中自适应策略的最优性？
• RQ5 该策略能否推广至硬币之间存在依赖关系的情形（例如 $n$ 个硬币中恰好有一个为重）？

主要发现

• 所提出的算法在贝叶斯模型与无差别区域假设下，可严格证明其在每一步最小化未来期望投掷次数。
• 期望投掷次数的上界为 $O\left(\frac{1}{\epsilon} \cdot \frac{1}{p+\epsilon}\right)$，其中 $\epsilon$ 为最小偏倚差距，$p$ 为最偏倚硬币的先验偏倚。
• 该算法实现了最优的样本复杂度（仅相差常数因子），优于非自适应策略所需的 $O(n/\epsilon^2 \log(1/\delta))$ 次投掷。
• 最优性证明依赖于将问题建模为马尔可夫博弈，并利用似然比的凸性与几何级数上界。
• 该策略可从任意历史投掷结果初始化，因此对任意初始条件具有鲁棒性。
• 期望投掷次数的上界通过递归期望及吸收概率的比值界在对数似然比随机游走中推导得出。