[論文レビュー] Are sample means in multi-armed bandits positively or negatively biased?

Jaehyeok Shin, Aaditya Ramdas+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Bandit Algorithms Research参考文献 23被引用数 12

ひとこと要約

この論文は、確率的多腕バンディットにおける標本平均の選択バイアスを、サンプリング、停止、選択の3つの適応的要因に分解することで分析する。楽観的行動（optimism）の形式的定義を導入し、楽観的サンプリングは負のバイアスを引き起こすが、楽観的停止および楽観的選択は両方とも正のバイアスを引き起こすことを示し、適応的実験におけるネットバイアスを理解する統一的枠組みを提供する。

ABSTRACT

It is well known that in stochastic multi-armed bandits (MAB), the sample mean of an arm is typically not an unbiased estimator of its true mean. In this paper, we decouple three different sources of this selection bias: adaptive \emph{sampling} of arms, adaptive \emph{stopping} of the experiment, and adaptively \emph{choosing} which arm to study. Through a new notion called ``optimism'' that captures certain natural monotonic behaviors of algorithms, we provide a clean and unified analysis of how optimistic rules affect the sign of the bias. The main takeaway message is that optimistic sampling induces a negative bias, but optimistic stopping and optimistic choosing both induce a positive bias. These results are derived in a general stochastic MAB setup that is entirely agnostic to the final aim of the experiment (regret minimization or best-arm identification or anything else). We provide examples of optimistic rules of each type, demonstrate that simulations confirm our theoretical predictions, and pose some natural but hard open problems.

研究の動機と目的

• データが多腕バンディットで適応的に収集される場合の標本平均における選択バイアスの符号を理解すること。
• 適応的サンプリング、適応的停止、適応的選択の3つの適応的メカニズムの寄与を分離すること。
• アルゴリズムにおける単調性行動（「楽観的行動」）の形式的定式化と、そのバイアスの方向への影響の分析。
• 固定腕・固定時間のバイアスにのみ注目した先行研究の誤解を是正すること。
• あらゆるMABの目的（例：リグレット最小化、最良腕同定）に適用可能な一般で分布に依存しない枠組みを提供すること。

提案手法

• サンプリング、停止、選択ルールにおける単調性条件としての「楽観的行動」の新しい形式的定式化を導入する。
• 共分散を用いた一般バイアス分解を導出する：$\mathbb{E}[\widehat{\mu}_k - \mu_k] = -\frac{\mathrm{Cov}(\widehat{\mu}_k, N_k)}{\mathbb{E}[N_k]}$。
• バイアス分解を適用し、各適応的要素の楽観的性質に基づいてバイアスの符号を分類する。
• 理論的分析により、楽観的サンプリングが負のバイアスを引き起こす一方で、楽観的停止および楽観的選択が正のバイアスを引き起こすことを証明する。
• ガウス分布の腕を用いたグリーディ、UCB、トムソンサンプリングアルゴリズムにおけるシミュレーションにより結果を検証する。
• 最良腕同定のための逐次的手順を用い、適応的停止および適応的選択による正のバイアスを実証する。

実験結果

リサーチクエスチョン

• RQ1 多腕バンディットで適応的サンプリングが用いられる場合、標本平均におけるバイアスの符号は何か？
• RQ2 適応的停止および適応的選択ルールは、標本平均推定におけるバイアスにどのように影響するか？
• RQ3 3つの適応的メカニズムが同時に存在する場合、ネットバイアスを統一的に説明できる枠組みは存在するか？
• RQ4 なぜ、適応的サンプリングにのみ注目した先行研究の結果は、実際のバイアスの全体像を捉えられていないのか？
• RQ5 楽観的サンプリング、停止、選択が、どのような条件下で正または負のバイアスを引き起こすのか？

主な発見

• UCB、トムソンサンプリング、グリーディなどの楽観的サンプリングルールは、任意の腕の標本平均に負のバイアスを引き起こす。
• 楽観的停止および楽観的選択ルールは両方とも正のバイアスを引き起こすことが、最良腕同定のための逐次的手順によるシミュレーションで確認された。
• 楽観的サンプリング、停止、選択を組み合わせたlil’UCBアルゴリズムは、停止および選択による正の寄与が優勢であるため、ネットバイアスが正である。
• 3つの単位分散のガウス分布の腕（平均が1, 2, 3）に対して、グリーディサンプリングがすべての腕で負のバイアスを示すことがシミュレーションで確認された。
• 平均が$g$, 0, $-g$ の腕を用いた最良腕同定において、停止時の最大標本平均は、$g=1,3,5$ のすべてのギャップサイズで正のバイアスを示した。
• 適応的バンディット設定におけるネットバイアスは、楽観的サンプリング、停止、選択ルールのバランスによって正または負のどちらにもなる。