[論文レビュー] Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback

Tanner Fiez, Shreyas Sekar+1 more|arXiv (Cornell University)|Mar 11, 2018

Advanced Bandit Algorithms Research参考文献 35被引用数 3

ひとこと要約

本稿では、滑らか化された報酬フィードバックを伴う相関的なマルコフ的環境における多腕バンディット問題に対して、状態情報がなく、エポックごとにバッチ化・平均化された報酬しか観測できない状況下で、EpochUCB および EpochGreedy アルゴリズムを提案する。これらのアルゴリズムは、アームに依存する線形増加のエポック長を用いることで、線形でないレグレットを達成し、このような状況下でUCB や ε-greedy が被る線形レグレットを克服する。

ABSTRACT

We study a multi-armed bandit problem in a dynamic environment where arm rewards evolve in a correlated fashion according to a Markov chain. Different than much of the work on related problems, in our formulation a learning algorithm does not have access to either a priori information or observations of the state of the Markov chain and only observes smoothed reward feedback following time intervals we refer to as epochs. We demonstrate that existing methods such as UCB and $\varepsilon$-greedy can suffer linear regret in such an environment. Employing mixing-time bounds on Markov chains, we develop algorithms called EpochUCB and EpochGreedy that draw inspiration from the aforementioned methods, yet which admit sublinear regret guarantees for the problem formulation. Our proposed algorithms proceed in epochs in which an arm is played repeatedly for a number of iterations that grows linearly as a function of the number of times an arm has been played in the past. We analyze these algorithms under two types of smoothed reward feedback at the end of each epoch: a reward that is the discount-average of the discounted rewards within an epoch, and a reward that is the time-average of the rewards within an epoch.

研究の動機と目的

• 報酬が相関的なマルコフ連鎖に従って変化するが、下位の状態や即時のフィードバックにアクセスできない多腕バンディット問題に対処すること。
• デジタルプラットフォームや e コマースなど、報酬フィードバックがバッチ処理され遅延するような現実世界のシステムをモデル化すること。
• 標準的なバンディットアルゴリズム（UCB や ε-greedy）が、状態相関性と遅延フィードバックを考慮できないために、この設定で線形レグレットを被ることを示すこと。
• 限られたフィードバックと状態観測なしで、線形でないレグレットを達成できる新しいアルゴリズムを開発すること。
• 2 種類の滑らか化フィードバック（割引平均および時間平均）を想定した状況下でのパフォーマンス分析を行うこと。

提案手法

• アルゴリズムはエポック単位で動作し、各アームがそのアームの過去の選択回数に応じて線形的に増加する期間にわたり繰り返しプレイされる。
• エポック長は、アームが選択された累積回数に依存し、時間の経過とともに各アームの探索期間を長く保証する。
• 滑らか化された報酬フィードバックは、各エポック内での瞬間報酬の時間平均または割引平均として計算される。
• 理論的分析では、マルコフ連鎖の混合時間の境界を用いて、観測報酬と定常分布報酬との乖離を制御する。
• レグレットは、混合時間関連の項と探索と活用のトレードオフ関連の項に分解され、レグレット境界が導出される。
• アルゴリズムは、状態分布を定常状態に安定化させることを設計しており、遅延的かつ滑らか化されたフィードバックにもかかわらず、信頼性のある報酬推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 UCB や ε-greedy といった標準的なバンディットアルゴリズムは、滑らか化されたバッチフィードバックのみが得られる相関的なマルコフ的環境で、線形でないレグレットを達成できるか？
• RQ2 固定長と増加長のエポック長の両方が、このような環境下でのレグレットに与える影響は何か？
• RQ3 下位のマルコフ状態にアクセスできない状況で、平均報酬しか観測できない場合に、線形でないレグレットを保証するにはどうすればよいか？
• RQ4 時間平均と割引平均の両方の滑らか化報酬フィードバックモデルは、相関的なマルコフ的バンディットにおいて、効果的な学習を可能にする条件は何か？
• RQ5 マルコフ連鎖の混合時間特性を活用することで、非定常的かつ相関的な報酬設定におけるレグレットペナルティを制御できるか？

主な発見

• 標準的な UCB や ε-greedy アルゴリズムは、状態分布を安定化できないため、滑らか化されたフィードバックを伴う提示された相関的マルコフ的環境で線形レグレットを被る。
• EpochUCB および EpochGreedy は、アームに依存する線形増加のエポック長を用いることで、状態分布を定常状態に近づけ、線形でないレグレットを達成する。
• レグレット境界は、下位のマルコフ連鎖の混合時間に比例しており、混合が遅いほどレグレットが高くなることを示している。
• 分析により、定常長エポックでは線形レグレットが生じることが判明し、この設定ではエポック長の適応的増加が不可欠であることが裏付けられた。
• 時間平均または割引平均のいずれの滑らか化報酬フィードバックモデルでも、十分に長いエポックを組み合わせることで、定常報酬の信頼性ある推定が可能になる。
• 割引平均および時間平均の両フィードバック形式について、理論的保証が確立され、両形式ともに線形でないレグレットが達成可能であることが示された。