[論文レビュー] Efficient Learning in Non-Stationary Linear Markov Decision Processes

Abdelaziz Touati, Pascal Vincent|arXiv (Cornell University)|Oct 24, 2020

Advanced Bandit Algorithms Research参考文献 21被引用数 7

ひとこと要約

本稿では、時間変動する報酬と遷移を伴う非定常線形マーカフォード過程（MDP）におけるオンライン強化学習のための、モデルフリーで楽観的なアルゴリズムopt-wlsviを提案する。重み付き最小二乗価値反復に指数的忘却を組み合わせることで、時間変動する環境に適応する。動的リグレットバウンドとして、$\widetilde{\mathcal{O}}(d^{5/4}H^{2}\Delta^{1/4}K^{3/4})$ を達成する。ここで、$d$ は特徴次元、$H$ はホライズン、$K$ はエピソード数、$\Delta$ は非定常性の度合を測る。

ABSTRACT

We study episodic reinforcement learning in non-stationary linear (a.k.a. low-rank) Markov Decision Processes (MDPs), i.e, both the reward and transition kernel are linear with respect to a given feature map and are allowed to evolve either slowly or abruptly over time. For this problem setting, we propose OPT-WLSVI an optimistic model-free algorithm based on weighted least squares value iteration which uses exponential weights to smoothly forget data that are far in the past. We show that our algorithm, when competing against the best policy at each time, achieves a regret that is upper bounded by $\widetilde{\mathcal{O}}(d^{5/4}H^2 Δ^{1/4} K^{3/4})$ where $d$ is the dimension of the feature space, $H$ is the planning horizon, $K$ is the number of episodes and $Δ$ is a suitable measure of non-stationarity of the MDP. Moreover, we point out technical gaps in the study of forgetting strategies in non-stationary linear bandits setting made by previous works and we propose a fix to their regret analysis.

研究の動機と目的

• 報酬関数と遷移ダイナミクスが時間とともに変化する、エピソード的で非定常な線形MDPにおける、効率的強化学習の課題に対処すること。
• 環境ダイナミクスが固定であると仮定する従来の定常MDPアルゴリズムの限界を克服し、時間変動する条件下でも有効に機能すること。
• 高次元または連続的状態空間において、探索と活用のバランスを取る、計算的に効率的なモデルフリーのアルゴリズムを開発すること。
• 非定常性下での厳密なリグレット解析を提供し、各エピソードにおける最良の方策との性能比較を測ること。
• 非定常線形バンディットにおける忘却戦略のリグレット解析に見られる、既知の技術的欠陊（特に推定誤差の伝搬制御の不備）を是正すること。

提案手法

• 指数的忘却を用いた重み付き最小二乗価値反復に基づく、楽観的なモデルフリーのアルゴリズムopt-wlsviを提案する。
• 減衰係数 $\eta \in (0,1)$ を用いた指数的忘却により、過去の遷移や報酬に低い重みを割り当て、動的環境への適応を可能にする。
• 非i.i.d.な設定下での推定誤差を制御するため、逐次的重み付き最小二乗推定器に新たな分散不等式を導入する。
• モデル推定誤差と非定常性の両方を考慮した信頼区間の構築法を導入し、不確実性の面前でも楽観的な推定を保証する。
• 行列ノルムと特徴空間の幾何構造を用いて、真の価値関数と推定価値関数の差をバウンドすることで、価値反復ステップ間での誤差伝搬を制御する。
• パラメータ空間上の被覆論法を用いて関数クラスの複雑さを制御し、$\epsilon$-ネットを用いて必要な近似回数の上限を求める。

実験結果

リサーチクエスチョン

• RQ1 時間変動する報酬関数および遷移関数に適応可能な、非定常線形MDPにおける、証明可能な効率性を持つ強化学習アルゴリズムを設計できるか？
• RQ2 重み付き最小二乗推定における指数的忘却は、周期的再初期化と比較して、非定常MDPにおけるリグレットにどのように影響するか？
• RQ3 時間変動ダイナミクス下で、非定常線形MDPにおける探索、一般化、適応の間の根本的トレードオフは何か？
• RQ4 非定常線形バンディットにおける忘却戦略のリグレット解析に見られる、既知の技術的欠陊（特に反復間での誤差伝搬の制御）を是正できるか？
• RQ5 非定常性予算 $\Delta$、ホライズン $H$、特徴次元 $d$、エピソード数 $K$ に対するリグレットの最適な依存関係は何か？

主な発見

• 提案されたopt-wlsviアルゴリズムは、非定常線形MDPにおいて、各エピソードの最良方策との比較で、$\widetilde{\mathcal{O}}(d^{5/4}H^{2}\Delta^{1/4}K^{3/4})$ の動的リグレットバウンドを達成する。
• リグレットバウンドは $K$、$H$、$\Delta$ に対して非線形に、$d$ に対しては準平方的（subquadratic）にスケーリングされ、高次元特徴空間における良好な一般化を示している。
• 急激な方策の再初期化を避ける平滑な忘却により、連続的適応を可能にするため、単純な周期的再初期化戦略に比べて優れた性能を発揮する。
• 著者らは、非定常線形バンディットにおける忘却戦略のリグレット解析に見られる、既知の技術的欠陊（特に反復間での誤差伝搬の制御不備）を特定し是正した。
• 非i.i.d.データ下での推定誤差を制御するための、逐次的重み付き最小二乗推定器に新たな分散不等式を確立した。これは、推定誤差制御において極めて重要である。
• リグレットバウンドは $d$、$H$、$\Delta$、$K$ に対する依存関係においてタイトであり、同時に発表されたLヒューリスティックの周期的再起動戦略（LSVI-UCB）と同等の最先端性能を達成している。