[論文レビュー] Non-Stationary Reinforcement Learning: The Blessing of (More) Optimism

Wang Chi Cheung, David Simchi‐Levi+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、変動予算で制限される時間変動報酬および遷移を伴うマルコフ決定過程における非定常強化学習のための SWUCRL2-CW および BORL アルゴリズムを提案する。新たな信頼区間拡張技術を導入することで、変動予算の事前知識を必要とせずに最適な動的リグレット境界を達成し、理論的および実践的両面で既存手法を上回る性能を発揮する。

ABSTRACT

We consider un-discounted reinforcement learning (RL) in Markov decision processes (MDPs) under temporal drifts, ie, both the reward and state transition distributions are allowed to evolve over time, as long as their respective total variations, quantified by suitable metrics, do not exceed certain variation budgets. This setting captures the endogeneity, exogeneity, uncertainty, and partial feedback in sequential decision-making scenarios, and finds applications in vehicle remarketing and real-time bidding. We first develop the Sliding Window Upper-Confidence bound for Reinforcement Learning with Confidence Widening (SWUCRL2-CW) algorithm, and establish its dynamic regret bound when the variation budgets are known. In addition, we propose the Bandit-over-Reinforcement Learning (BORL) algorithm to adaptively tune the SWUCRL2-CW algorithm to achieve the same dynamic regret bound, but in a parameter-free manner, ie, without knowing the variation budgets. Finally, we conduct numerical experiments to show that our proposed algorithms achieve superior empirical performance compared to existing algorithms. Notably, the interplay between endogeneity and exogeneity presents a unique challenge, absent in existing (stationary and non-stationary) stochastic online learning settings, when we apply the conventional Optimism in Face of Uncertainty principle to design algorithms with provably low dynamic regret for RL in drifting MDPs. We overcome the challenge by a novel confidence widening technique that incorporates additional optimism into our learning algorithms to ensure low dynamic regret bounds. To extend our theoretical findings, we apply our framework to inventory control problems, and demonstrate how one can alternatively leverage special structures on the state transition distributions to bypass the difficulty in exploring time-varying environments.

研究の動機と目的

• 報酬および遷移分布が時間とともに変化するが、変動予算で制限される非定常MDPにおける割引なし強化学習を扱う。
• 報酬と遷移の時間的変化（外生的要因）と、方策依存の動的特性（内生的要因）のバランスを取る課題に直面した際、楽観主義学習を適用する。
• 変動予算の事前知識なしに適応可能なパラメータフリーのアルゴリズムを設計し、最適な動的リグレット性能を維持する。
• 変動環境における探索およびリグレット境界の向上を実現するため、信頼区間拡張がどのように楽観主義を強化できるかを示す。
• ベースライン手法（UCRL2 や UCRL2.S）に比べ、動的環境における提案アルゴリズムの有効性を実証する。

提案手法

• 変動予算が既知である場合に時間変動MDPを扱えるように、スライディングウィンドウ推定と信頼区間拡張を組み合わせた SWUCRL2-CW アルゴリズムを導入する。
• 価値関数推定に追加の楽観主義を組み込むことで、低動的リグレットを保証する、新しい信頼区間拡張技術を採用する。
• EXP3.P を用いて SWUCRL2-CW アルゴリズムを動的にチューニングするマスターアルゴリズムとしての BORL アルゴリズムを設計し、変動予算の事前知識なしにパラメータフリーで動作可能にする。
• スライディングウィンドウ推定器を用いて最近の報酬および遷移統計を追跡し、長期的変動への感受性を低減する。
• 変化する環境下でも内生的要因と外生的要因の相互作用を緩和できるように、信頼区間拡張を組み合わせた形で「不確実性の面前での楽観主義（OFU）」原則を応用する。
• 固定コスト付き単一品目在庫制御の構造的性質を活用し、特定の状況では信頼区間拡張の必要を回避する。

実験結果

リサーチクエスチョン

• RQ1 時間変動報酬および遷移を伴う非定常MDPにおいて、楽観主義に基づく強化学習が低動的リグレットを達成できるか？
• RQ2 内生的政策効果と外生的環境変動の相互作用をどのように管理すれば、低リグレットを維持できるか？
• RQ3 信頼区間拡張を用いることで、標準的なOFU原則を上回る楽観主義を強化し、リグレット境界を改善できるか？
• RQ4 変動予算の事前知識なしに、チューニング済みアルゴリズムと同等のリグレット性能を達成できるパラメータフリーのアルゴリズムを設計できるか？
• RQ5 状態遷移の構造的性質（例：在庫制御）は、信頼区間拡張の必要性をどの程度低減できるか？

主な発見

• 変動予算 $ B_r $ および $ B_p $ が既知の場合、SWUCRL2-CW アルゴリズムは $ \tilde{O}(\sqrt{B_r T} + \sqrt{B_p T}) $ の動的リグレット境界を達成し、対数要因を除いて理論的下界に一致する。
• BORL アルゴリズムは、$ B_r $ および $ B_p $ の事前知識なしに、同じ $ \tilde{O}(\sqrt{B_r T} + \sqrt{B_p T}) $ の動的リグレット境界を達成し、パラメータフリーである。
• 数値実験では、低および中程度の変動下で、SWUCRL2-CW および BORL は UCRL2 や UCRL2.S に比べ、累積報酬で少なくとも20%の向上を示した。
• 遷移分布の変動が大きい状況（$ B_p = \Theta(T^{0.5}) $）では、12%の改善が確認され、遷移の変動に対するロバストネスが示された。
• 驚くべきことに、変動予算を知らないにもかかわらず、BORL は一部の設定で SWUCRL2-CW を上回った。これは、適応的 EXP3.P マスターアルゴリズムが有益な環境を効果的に活用できたことを示唆している。
• 信頼区間拡張技術が、特に遷移の外生的変動が報酬のそれよりも深刻な場合に、低リグレットを維持するために極めて重要であることが示された。