[論文レビュー] Taming Non-stationary Bandits: A Bayesian Approach

Vishnu Raj, Sheetal Kalyani|arXiv (Cornell University)|Jul 31, 2017

Advanced Bandit Algorithms Research参考文献 22被引用数 48

ひとこと要約

本稿では、非定常的マルチアームバンディット問題に対する割引トレースティンサンプリング（dTS）およびその楽観的変種であるdOTSを提案する。ベイジアン更新に過去の観測値を指数関数的に割引く手法を用い、未選択の腕の分散を増加させることで、動的環境下でも低く安定したリグレットを達成する。dOTSは、急激に変化する環境や突然の変化が生じる状況で、dTSおよび標準的なTSを上回る性能を示す。

ABSTRACT

We consider the multi armed bandit problem in non-stationary environments. Based on the Bayesian method, we propose a variant of Thompson Sampling which can be used in both rested and restless bandit scenarios. Applying discounting to the parameters of prior distribution, we describe a way to systematically reduce the effect of past observations. Further, we derive the exact expression for the probability of picking sub-optimal arms. By increasing the exploitative value of Bayes' samples, we also provide an optimistic version of the algorithm. Extensive empirical analysis is conducted under various scenarios to validate the utility of proposed algorithms. A comparison study with various state-of-the-arm algorithms is also included.

研究の動機と目的

• 報酬分布が時間とともに変化する非定常的環境におけるマルチアームバンディット問題の挑戦に応える。
• 定常性を仮定する標準的なトレースティンサンプリングの限界を克服し、非定常な状況下でも有効に機能する。
• 古くなった観測値の影響を体系的に低減しつつ、探索を維持するベイジアンフレームワークを構築する。
• 未選択の腕の事前分布の分散を増加させることで、環境変化への適応性を高める探索を改善する。
• 提案手法の理論的および実験的妥当性を、多様な非定常バンディット状況において検証する。

提案手法

• 過去の観測値の影響を時間とともに減少させるために、事前分布のパラメータに指数関数的割引を適用する。
• 時間に応じて減衰するパラメータを備えたベータ＝ベルヌーイの共役事前分布フレームワークを用い、変化する成功確率をモデル化する。
• 未プレイの腕の事後分布の分散を増加させるメカニズムを導入し、非定常な環境下での探索を促進する。
• ベイズサンプルの利用的価値を高めることで、より高い経験的平均を持つ腕を優遇する楽観的変種dOTSを提案する。
• 非整数パラメータを有する2腕バンディット設定において、非最適腕が選択される確率の正確な解析的表現を導出する。
• dTSおよびdOTSをさまざまな非定常環境（ゆっくり変化、急激に変化、突然の変化）に実装し、評価する。

実験結果

リサーチクエスチョン

• RQ1 過去データの体系的忘却を用いることで、ベイジアントレースティンサンプリングを非定常環境に効果的に適応できるか？
• RQ2 未プレイの腕の事前分布の分散を増加させることで、動的バンディット環境下での性能にどのような影響を与えるか？
• RQ3 非整数事前パラメータを持つ2腕バンディット設定において、非定常性下で非最適腕が選択される正確な確率は何か？
• RQ4 dTSおよびdOTSは、EXP3-IX や REXP3 といった最先端のアルゴリズムと比較して、リグレットと適応性の面で優れているか？
• RQ5 dTSおよびdOTSの性能は、非定常環境下で腕の数が増加しても良好にスケーリングするか？

主な発見

• dTSおよびdOTSは、ゆっくり変化、急激に変化、突然の変化というあらゆる環境で、ほぼ一定の正規化リグレットを維持する。一方、標準的なTSはリグレットが増大する。
• dOTSは、急激に変化する環境や突然の変化が生じる状況でdTSを上回る性能を示すが、これはより高い利用的バイアスにもかかわらず、楽観的サンプリングが適応性を高めることを示している。
• REXP3は初期段階で確率的探索に依存しているため苦戦するが、最終的には安定化する。一方、dTSおよびdOTSは初期段階から一貫した学習を示す。
• dTSおよびdOTSのリグレットは、腕の数が増加しても安定を保つ。これは、REX3と比較して腕の数に弱い依存性を示している。
• REX3は、特に突然の変化が生じる環境下で、腕の数が増えるとリグレットが増大する。これは腕の数に対して強い感受性を示している。
• 非整数パラメータに対して非最適腕選択確率の正確な表現を提案したが、これは非整数パラメータの非定常状態におけるトレースティンサンプリングの理論的分析の基盤を提供する。