[論文レビュー] Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes

Larkin Liu, Richard Downe+1 more|arXiv (Cornell University)|Feb 22, 2019

Advanced Bandit Algorithms Research参考文献 11被引用数 8

ひとこと要約

本論文は、遅延フィードバックを伴う非定常な報酬分布に特化した、新しいベイジアンマルチアームバンディット戦略AG1を提案する。過去の時間窓からのパラメータ推定値を保持・活用することで、シミュレートされたオンライン雑貨物在庫最適化シナリオにおいて、epsilon-greedy、Thompson Sampling、UCB1よりも累積的後悔をより効果的に低減する。

ABSTRACT

A survey is performed of various Multi-Armed Bandit (MAB) strategies in order to examine their performance in circumstances exhibiting non-stationary stochastic reward functions in conjunction with delayed feedback. We run several MAB simulations to simulate an online eCommerce platform for grocery pick up, optimizing for product availability. In this work, we evaluate several popular MAB strategies, such as $ε$-greedy, UCB1, and Thompson Sampling. We compare the respective performances of each MAB strategy in the context of regret minimization. We run the analysis in the scenario where the reward function is non-stationary. Furthermore, the process experiences delayed feedback, where the reward function is not immediately responsive to the arm played. We devise a new adaptive technique (AG1) tailored for non-stationary reward functions in the delayed feedback scenario. The results of the simulation show show superior performance in the context of regret minimization compared to traditional MAB strategies.

研究の動機と目的

• 非定常な報酬分布と遅延フィードバック下での標準的MAB戦略（epsilon-greedy、UCB1、Thompson Sampling）の性能を評価すること。
• 報酬フィードバックが遅く、報酬分布が時間とともに変化するオンライン雑貨物の「クリックアンドコレクト」サービスにおける製品の可用性最適化という実用的課題に取り組むこと。
• 非定常環境と遅延フィードバックに適応するため、歴史的パラメータ推定値を活用する新しいベイジアンMAB戦略（AG1）を設計・検証すること。
• 正弦波報酬関数を用いたK=2およびK=10のアームシミュレーションにおいて、AG1が既存の戦略よりも顕著に低い累積的後悔を達成することを示すこと。
• 実世界のECアプリケーションに関連する動的でフィードバック遅延のあるMAB設定において、記憶に基づくベイジアン適応の優位性を実証的根拠で示すこと。

提案手法

• AG1は、前回の時間窓からの後方分布パラメータ推定値を保持するベイジアンフレームワークを採用し、各エポックで再推定を実行しない。
• 期待報酬の最新の後方平均推定値に基づくグリーディ戦略を用いることで、レジームシフトへの迅速な適応を確保する。
• 非定常な報酬関数に対しては、時間窓を跨いで過去の観測を記憶することで、再起動ベースの戦略の性能低下を回避する。
• アームは異なるアサortメント予測アルゴリズムを表し、指標はピックアップ時の品切れ率（在庫充足率）である、シミュレートされたオンライン雑貨物プラットフォームで手法を評価する。
• 後悔は、時間経過に伴い最適期待報酬と実際の報酬との累積差として計算され、AG1は持続的なパラメータ推定によりこの量を最小化する。
• 報酬の時間変動をモデル化するため、正弦波報酬関数を用い、現実のデータ遅延を反映させるために遅延フィードバックを導入する。

実験結果

リサーチクエスチョン

• RQ1 非定常な報酬分布と遅延フィードバック下で、標準的MAB戦略（epsilon-greedy、UCB1、Thompson Sampling）はどのように性能を発揮するか？
• RQ2 歴史的パラメータ推定値を保持するベイジアンMAB戦略は、非定常的かつ遅延フィードバック環境において再起動ベースの戦略を上回れるか？
• RQ3 遅延フィードバックは、動的報酬設定における従来のMABアルゴリズムの後悔性能にどのような影響を与えるか？
• RQ4 アーム数が2から10に増加した場合、AG1戦略はepsilon-greedyおよびThompson Samplingと比較して、累積的後悔と報酬の点でどのように差をつけるか？
• RQ5 AG1におけるパラメータ記憶は、各時間窓で推定値をリセットする戦略と比較して、後悔をどの程度低減するか？

主な発見

• 正弦波報酬関数を用いたK=2アームのシミュレーションでは、AG1の累積的後悔は2.784に留まり、epsilon-greedyの6.881よりも顕著に低い。
• K=10アームの場合、AG1は累積的後悔2.558を記録し、epsilon*-greedy（7.121）およびTS*（6.241）を上回り、アーム数の増加に対しても高いロバスト性を示した。
• AG1の性能優位性は、時間窓を跨いで過去のパラメータ推定値を保持することで生じ、再推定の遅延なしにレジーム変化に迅速に適応できる点に起因する。
• Thompson Samplingは定常状態では優れた性能を発揮したが、非定常状態と遅延フィードバック下では性能を発揮できず、おそらく過剰に慎重な探索によるものと推測される。
• UCB1は非定常な状況で劣悪な性能を示したが、おそらく遅延フィードバックが探索をあまりに強く抑制し、最適でないアームの選択を引き起こしたためと推測される。
• 結果から、再起動ベースや純粋な頻度主義的手法よりも、記憶に基づくベイジアン戦略（AG1）が非定常的かつ遅延フィードバックのある環境に適していることが確認された。