[論文レビュー] Online Multi-Armed Bandits with Adaptive Inference

Maria Dimakopoulou, Zhimei Ren+1 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿では、適応的データ収集によるバイアスを補正する二重に適応的な推定器を用いて報酬を再重み付けすることで、推論精度を向上させる、新しいオンライン多腕バンディットアルゴリズムであるDoubly Adaptive Thompson Sampling (DATS) を提案する。DATSは、UCBおよび標準的Thompson Samplingに対して、レギュレートとサンプル複雑度の両面で優れた経験的性能を達成するとともに、対数要因を除いて最小最大最適なレギュレートバウンドを維持する。

ABSTRACT

During online decision making in Multi-Armed Bandits (MAB), one needs to conduct inference on the true mean reward of each arm based on data collected so far at each step. However, since the arms are adaptively selected--thereby yielding non-iid data--conducting inference accurately is not straightforward. In particular, sample averaging, which is used in the family of UCB and Thompson sampling (TS) algorithms, does not provide a good choice as it suffers from bias and a lack of good statistical properties (e.g. asymptotic normality). Our thesis in this paper is that more sophisticated inference schemes that take into account the adaptive nature of the sequentially collected data can unlock further performance gains, even though both UCB and TS type algorithms are optimal in the worst case. In particular, we propose a variant of TS-style algorithms--which we call doubly adaptive TS--that leverages recent advances in causal inference and adaptively reweights the terms of a doubly robust estimator on the true mean reward of each arm. Through 20 synthetic domain experiments and a semi-synthetic experiment based on data from an A/B test of a web service, we demonstrate that using an adaptive inferential scheme (while still retaining the exploration efficacy of TS) provides clear benefits in online decision making: the proposed DATS algorithm has superior empirical performance to existing baselines (UCB and TS) in terms of regret and sample complexity in identifying the best arm. In addition, we also provide a finite-time regret bound of doubly adaptive TS that matches (up to log factors) those of UCB and TS algorithms, thereby establishing that its improved practical benefits do not come at the expense of worst-case suboptimality.

研究の動機と目的

• オンライン多腕バンディットにおける適応的データ収集によって生じる平均報酬推定のバイアスを是正すること。
• 最悪ケースの理論的保証を損なわずに、レギュレートとサンプル複雑度の両面で経験的性能を向上させること。
• 因果推論分野の進展をオンライン意思決定アルゴリズムに統合し、より良い統計的推論を実現すること。
• 探索の効果を維持しつつ、適応的サンプリング下での推定精度を向上させること。

提案手法

• 観測報酬の再重み付けを組み込んだThompson Samplingの変種として、Doubly Adaptive Thompson Sampling (DATS) を提案する。
• 結果回帰と逆確率重み付けを組み合わせた二重に頑健な推定器を用い、適応的サンプリングに起因するバイアスを低減する。
• オフライン因果推論推定器（例：Luedtke & van der Laan, 2016; Hadad et al., 2019）をオンラインバンディット設定に適応する。
• 選択確率と結果モデルに基づいて、各腕の報酬に与える影響を動的に調整する再重み付け方式を採用する。
• Thompson samplingによる探索を維持しつつ、報酬推定における選択バイアスを是正する。
• UCBおよびTSと同程度の対数要因を除いて最小最大最適な有限時間レギュレートバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 適応的推論手法は、標準的UCBおよびThompson Samplingを上回る経験的性能をオンライン多腕バンディットで達成できるか？
• RQ2 適応的に収集されたデータに起因するバイアスは、リアルタイムの報酬推定でどのように是正できるか？
• RQ3 二重に頑健な推定はオンラインバンディット設定に適応可能であり、推論精度の向上に寄与するか？
• RQ4 改善された推論は、より低いレギュレートと最良の腕の特定の高速化をもたらすか？
• RQ5 最小最大レギュレート最適性を損なわず、より優れた経験的性能を達成することは可能か？

主な発見

• 20件の合成実験において、DATSはUCBおよび標準的Thompson Samplingと比較して顕著に低いレギュレートと、最良の腕の特定に要するサンプル数が少ないことを示した。
• 実際のウェブサービスデータを用いた半合成A/Bテストでは、DATSは両方の指標（レギュレートとサンプル効率）でベースラインを上回った。
• DATSの有限時間レギュレートバウンドは、対数要因を除いてUCBおよびTSの最適バウンドと一致する。
• アルゴリズムは、問題依存のレギュレートバウンド $O\left(\frac{\log T}{\Delta}\right)$ を達成し、高確率で成立する。
• 一般条件下でも頑健性を確認するため、高確率レギュレートバウンド $O\left(\sqrt{T \log T}\right)$ が確立された。
• 理論的分析により、経験的性能の向上が最悪ケース下での非最適性の犠牲を伴わないことが確認された。