[論文レビュー] On the bias, risk and consistency of sample means in multi-armed bandits

Jaehyeok Shin, Aaditya Ramdas+1 more|arXiv (Cornell University)|Feb 2, 2019

Advanced Bandit Algorithms Research参考文献 43被引用数 19

ひとこと要約

本稿は、適応的サンプリング、停止、選択、リワインドを伴うマルチアームバンディット（MAB）設定下における標本平均のバイアス、リスク、一貫性について包括的な分析を提供する。4つの選択バイアスの源を同定し、リスクを制限するための有効サンプルサイズを導入し、変分表現およびマルティングール濃度不等式を用いて、一般のモーメント条件の下で一貫性とリスク制御を確立する。

ABSTRACT

The sample mean is among the most well studied estimators in statistics, having many desirable properties such as unbiasedness and consistency. However, when analyzing data collected using a multi-armed bandit (MAB) experiment, the sample mean is biased and much remains to be understood about its properties. For example, when is it consistent, how large is its bias, and can we bound its mean squared error? This paper delivers a thorough and systematic treatment of the bias, risk and consistency of MAB sample means. Specifically, we identify four distinct sources of selection bias (sampling, stopping, choosing and rewinding) and analyze them both separately and together. We further demonstrate that a new notion of \emph{effective sample size} can be used to bound the risk of the sample mean under suitable loss functions. We present several carefully designed examples to provide intuition on the different sources of selection bias we study. Our treatment is nonparametric and algorithm-agnostic, meaning that it is not tied to a specific algorithm or goal. In a nutshell, our proofs combine variational representations of information-theoretic divergences with new martingale concentration inequalities.

研究の動機と目的

• 適応的データ収集下におけるマルチアームバンディットの標本平均のバイアス、リスク、一貫性を体系的に分析すること。
• サンプリング、停止、選択、リワインドの4つの異なる選択バイアスの源を同定し、特徴づけること。
• すべての4つの適応的要素が存在する完全適応的設定における標本平均の一貫性の十分条件を確立すること。
• 新規の有効サンプルサイズ概念を用いて、一般のモーメントおよび尾部条件の下で標本平均のタイトなリスクバウンドを導出すること。
• 特定のアルゴリズムや目的を仮定しない、非パラメトリックでアルゴリズムに依存しないフレームワークを提供し、多様なMABアプリケーションに適用可能であること。

提案手法

• 情報理論的ダイバージェンスの変分表現を用いてバイアスとリスクを分析する。
• 新しいマルティングール濃度不等式を適用し、適応的停止およびサンプリング下での標本平均の挙動を制御する。
• 一般の損失関数の下で標本平均の平均二乗誤差をバウンドするための、新規の有効サンプルサイズの概念を導入する。
• ドンスカー＝ヴァラドハン表現および自己正規化プロセスの不等式を用いてリスクバウンドを導出し、特にサブガウスィアンな腕に対して有効である。
• パラメトリック仮定や特定のバンディットアルゴリズムに依存しない、非パラメトリックでアルゴリズムに依存しないアプローチを採用する。
• 各バイアス要因の影響を示す、巧みに設計された例を用いて理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 すべての4つの適応的要素（適応的サンプリング、停止、選択、リワインド）を含む完全適応的MAB設定下で、標本平均が一貫性を示す条件は何か？
• RQ2 MABデータ収集中の4つの異なる選択バイアスの源は何か、それらはどのように相互作用するか？
• RQ3 一般のモーメントおよび尾部条件の下で、適応的設定における標本平均のリスクをどのようにバウンドできるか？
• RQ4 新規の有効サンプルサイズの概念を用いて、適応的バンディット実験における標本平均の平均二乗誤差を制御できるか？
• RQ5 既存のサブガウスィアンな腕に対するリスクバウンドと、本稿で提示されたバウンドは、タイトさと一般性の観点でどのように比較できるか？

主な発見

• 適応的MAB設定下では標本平均がバイアスを示すことが判明し、本稿では4つの異なる選択バイアスの源（サンプリング、停止、選択、リワインド）を同定した。
• 本稿では、すべての4つの適応的要素が存在する状況において、適応的アルゴリズムに一般の単調性条件が成り立つ限り、標本平均が一貫することを確立した。
• 一般の損失関数の下で標本平均の平均二乗誤差をタイトにバウンドするための新規の有効サンプルサイズ測度を導入し、その有効性を示した。
• サブガウスィアンな腕に対しては、自己正規化プロセスを用いてリスクバウンドを導出し、主なバウンドと定数倍の差異を除き一致した。特にサンプルサイズの変動が大きい場合には、よりタイトな制御が可能である。
• 提案されたリスクバウンドは、停止時限に制限されず、任意の確率的時刻に適用可能である。
• 有効サンプルサイズの正規化は、高変動性の設定において、他の正規化（例：$ ilde{N}^{ ext{E}}$）よりも優れた性能を示し、よりタイトなリスク制御を実現した。