[論文レビュー] Weak Signal Asymptotics for Sequentially Randomized Experiments

Kuang, Xu, Stefan Wager|arXiv (Cornell University)|Jan 25, 2021

Advanced Bandit Algorithms Research参考文献 43被引用数 4

ひとこと要約

本稿は、逐次的ラウンド実験における弱信号漸近枠組みを導入し、報酬差が $1/\text{sqrt}(n)$ スケーリングの下で、標本路が確率的微分方程式によって支配される拡散極限に弱収束することを示している。主な貢献は、レジーットと信念のダイナミクスの、インスタンス固有の洗練された分析であり、リプシッツ連続なサンプリングは大きな差がある場合に最適でないレジーットを引き起こす一方、漸近的に情報のない事前分布を用いたトンプソンサンプリングは、弱信号の状況下でもほぼ最適なレジーットスケーリングを達成する。

ABSTRACT

We use the lens of weak signal asymptotics to study a class of sequentially randomized experiments, including those that arise in solving multi-armed bandit problems. In an experiment with $n$ time steps, we let the mean reward gaps between actions scale to the order $1/\sqrt{n}$ so as to preserve the difficulty of the learning task as $n$ grows. In this regime, we show that the sample paths of a class of sequentially randomized experiments -- adapted to this scaling regime and with arm selection probabilities that vary continuously with state -- converge weakly to a diffusion limit, given as the solution to a stochastic differential equation. The diffusion limit enables us to derive refined, instance-specific characterization of stochastic dynamics, and to obtain several insights on the regret and belief evolution of a number of sequential experiments including Thompson sampling (but not UCB, which does not satisfy our continuity assumption). We show that all sequential experiments whose randomization probabilities have a Lipschitz-continuous dependence on the observed data suffer from sub-optimal regret performance when the reward gaps are relatively large. Conversely, we find that a version of Thompson sampling with an asymptotically uninformative prior variance achieves near-optimal instance-specific regret scaling, including with large reward gaps, but these good regret properties come at the cost of highly unstable posterior beliefs.

研究の動機と目的

• 最悪ケース保証を超えた、インスタンス固有の逐次実験の洗練された理解を構築すること、特に高リスクで小規模な応用分野を対象とすること。
• 報酬差が $1/\text{sqrt}(n)$ にスケーリングされる弱信号漸近的条件下で、適応的実験の確率的ダイナミクス（特にレジーットと信念の進化）を分析すること。
• 連続的なアーム選択確率を伴う逐次的ラウンドマルコフ実験の拡散極限を導出し、標本路とパフォーマンスに関する分布的洞察を可能にすること。
• 特に、レジーットスケーリングと信念の安定性に注目して、トンプソンサンプリングやUCBなどの代表的なアルゴリズムの性能を、この新しい漸近的枠組みで評価すること。
• バンドイット文脈における経験的伝統（例：事前分布の分散を固定の大定数に設定すること）を理論的に裏付けるため、トンプソンサンプリングにおける広義の事前分布の使用に理論的根拠を与えること。

提案手法

• 報酬差が $1/\text{sqrt}(n)$ にスケーリングされる弱信号漸近的枠組みを採用し、学習の難易度を維持する。
• スケーリングされた逐次的ラウンドマルコフ実験の標本路の弱収束を、確率的微分方程式（SDE）の解として特徴づけられる拡散過程に示す。
• ランダム時間変換技術を用いて、極限での累積報酬を、累積的サンプリング確率によって駆動される時間変換付きのブラウン運動（ドリフト付き）として表現する。
• 拡散極限を用いて、トンプソンサンプリングおよびリプシッツ連続なサンプリング関数におけるレジーットと信念の進化を分析し、インスタンス固有のパフォーマンスに注目する。
• トンプソンサンプリングにおける事前分布の分散の影響を、情報のある事前分布と漸近的に情報のない事前分布の下での性能比較を通じて同定する。
• SDEフレームワークを活用して、逐次的実験の確率的挙動に関する鋭い分布的洞察を導出し、一時的信念ダイナミクスやレジーットスケーリングを含む。

Figure 1 : Regret profile for two-armed Thompson sampling, for $c=1$ , 1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/256, 1/1024, and finally $c=0$ . We use $\sigma^{2}=1$ throughout. The left panel shows expected regret, while the right panel shows $\mathbb{E}\left[Q_{1}\right]$ . The curves with positive val

実験結果

リサーチクエスチョン

• RQ1 報酬差が $1/\text{sqrt}(n)$ にスケーリングされる弱信号漸近的条件下で、逐次的ラウンド実験におけるレジーットと信念ダイナミクスはどのように振る舞うか？
• RQ2 どのような条件下で、逐次的ラウンド実験が弱収束して拡散極限に到達するのか、またその極限SDEの形は何か？
• RQ3 アーム選択確率の連続性（例：リプシッツ連続 vs. 非連続）は、弱信号状態におけるレジーットパフォーマンスにどのように影響を与えるか？
• RQ4 漸近的に情報のない事前分布を用いたトンプソンサンプリングは、大きな報酬差を含むすべての報酬差の大きさにおいて、ほぼ最適なレジーットスケーリングを達成できるか？
• RQ5 ここでの導出された拡散極限は、逐次的情報収集における人間の学習や科学的コンSENSUS形成に、どの程度の洞察を提供できるか？

主な発見

• 報酬差が $1/\text{sqrt}(n)$ にスケーリングされる弱信号漸近的条件下で、連続的なアーム選択確率を伴う逐次的ラウンド実験の標本路は、確率的微分方程式によって支配される拡散極限に弱収束する。
• リプシッツ連続なアーム選択確率は、弱信号状態下でも非ゼロのレジーットを引き起こし、報酬差が相対的に大きい場合には非最適なパフォーマンスを示すことを示している。
• 漸近的に情報のない事前分布を用いたトンプソンサンプリングは、特に大きな報酬差の状況下でほぼ最適なインスタンス固有のレジーットスケーリングを達成する。
• 同じトンプソンサンプリングのバージョンにおいて、情報のない事前分布を用いると、事後分布の信念が極めて不安定になることが判明し、レジーット最適性と信念の安定性のトレードオフが示された。
• 拡散極限により、累積報酬および行動選択確率のパスの洗練された分布的特徴付けが可能となり、平均レジーットパフォーマンスを超える洞察が得られる。
• 結果から、弱信号状況下でトンプソンサンプリングにおける広義の事前分布の使用は理論的に正当化され、固定の大定数に事前分布の分散を設定するという経験的推奨事項を支持する。

Figure 3 : Distribution of the (scaled) regret for two-armed Thompson sampling in the undersmoothed regime (i.e., with $c=0$ ), as a function of (scaled) arm gap $\delta$ . The histograms are aggregated over 100,000 realization of the limiting stochastic differential equation.