[論文レビュー] Multi-Armed Bandits with Non-Stationary Rewards

Corinna Cortes, Giulia DeSalvo+3 more|arXiv (Cornell University)|Oct 29, 2017

Advanced Bandit Algorithms Research参考文献 16被引用数 7

ひとこと要約

本稿は、非定常報酬を伴うマルチアームバンディットの最初の理論的分析を提示し、非定常性の尺度として重み付き不一致を用いたUCB型アルゴリズムを提案する。自然な条件下で、標準的および経路依存的動的偽正則誤差の両方に対して対数的レギュレーションバウンドを達成し、非定常確率過程のための統一的枠組みを提供する。

ABSTRACT

The multi-armed bandit problem where the rewards are realizations of general non-stationary stochastic processes is a challenging setting which has not been previously tackled in the bandit literature in its full generality. We present the first theoretical analysis of this problem by deriving guarantees for both the path-dependent dynamic pseudo-regret and the standard pseudo-regret that, remarkably, are both logarithmic in the number of rounds under certain natural conditions. We describe several UCB-type algorithms based on the notion of weighted discrepancy, a key measure of non-stationarity for stochastic processes. We show that discrepancy provides a unified framework for the analysis of non-stationary rewards. Our experiments demonstrate a significant improvement in practice compared to standard benchmarks.

研究の動機と目的

• マルチアームバンディット問題における一般非定常確率過程に関するバンドイット文脈におけるギャップを埋める。
• 非定常設定における標準的および経路依存的動的偽正則誤差の両方の理論的保証を確立する。
• 確率過程の非定常性を統一的に測るための重み付き不一致を導入する。
• この尺度を用いて非定常報酬分布に適応するUCB型アルゴリズムを設計する。
• 提案されたアルゴリズムを標準ベンチマークと比較して実験的に検証し、実用的改善を示す。

提案手法

• 確率過程の非定常性の度合いを測定するための新規尺度である重み付き不一致を提案する。
• 重み付き不一致を組み込んだUCB型アルゴリズムを設計し、探索と活用のバランスを動的に調整する。
• 重み付き不一致の時間的増加率を分析することで理論的レギュレーションバウンドを導出する。
• 報酬過程にややきつい正則性条件が課せられる条件下で、標準的および経路依存的動的偽正則誤差の両方に対して対数的バウンドを確立する。
• 時間重み付き平均を用いて変化する平均報酬を推定し、非定常性に対応する。
• 各アームの推定不一致に基づいて動的に調整される信頼区間メカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 一般非定常確率的報酬を伴うマルチアームバンディットで、対数的レギュレーションが達成可能か？
• RQ2 報酬過程の非定常性を形式的に測定し、アルゴリズム設計に活用する方法は何か？
• RQ3 非定常性下での標準的および動的正則誤差を統一的に分析する枠組みを構築可能か？
• RQ4 重み付き不一致に基づくUCB型アルゴリズムは、実際のベンチマークを上回る性能を示すか？
• RQ5 非定常バンディット設定で対数的レギュレーションを保証する理論的条件は何か？

主な発見

• 提案されたアルゴリズムは、報酬過程に自然な条件が課せられる下で、対数的標準偽正則誤差を達成する。
• 経路依存的動的偽正則誤差についても対数的であることが示され、理論的進展として顕著である。
• 重み付き不一致は、多様な非定常報酬過程の分析を可能にする統一的尺度として機能する。
• 非定常性の特定のパrametric形を仮定せず、一般性を高める理論的保証を導出する。
• 実験により、非定常環境下で標準UCBおよびベースラインアルゴリズムに対して一貫した性能向上が確認された。
• 適応的重み付けにより、ゆっくりと変化するおよび急激に変化する報酬分布の両方を効果的に処理できた。