[論文レビュー] Nonstationary Reinforcement Learning with Linear Function Approximation

Huozhi Zhou, Jing‐Lin Chen+2 more|arXiv (Cornell University)|Oct 8, 2020

Reinforcement Learning in Robotics参考文献 53被引用数 13

ひとこと要約

本稿では、報酬関数と遷移確率が時間とともに変化する非定常な強化学習環境において、線形関数近似を用いたエピソード的MDPにおける非定常な強化学習のためのアルゴリズムである LSVI-UCB-Restart および Ada-LSVI-UCB-Restart を提案する。環境の動的ダイナミクスの全変動が有界である条件下で、サブ線形な動的リグレットバウンドを確立し、ミニマックスのリグレット下界を証明し、理論的および実験的観点から近似的最適性を示している。

ABSTRACT

We consider reinforcement learning (RL) in episodic Markov decision processes (MDPs) with linear function approximation under drifting environment. Specifically, both the reward and state transition functions can evolve over time but their total variations do not exceed a $ extit{variation budget}$. We first develop $ exttt{LSVI-UCB-Restart}$ algorithm, an optimistic modification of least-squares value iteration with periodic restart, and bound its dynamic regret when variation budgets are known. Then we propose a parameter-free algorithm $ exttt{Ada-LSVI-UCB-Restart}$ that extends to unknown variation budgets. We also derive the first minimax dynamic regret lower bound for nonstationary linear MDPs and as a byproduct establish a minimax regret lower bound for linear MDPs unsolved by Jin et al. (2020). Finally, we provide numerical experiments to demonstrate the effectiveness of our proposed algorithms.

研究の動機と目的

• 時間的に変化する報酬関数および遷移関数を有する非定常環境における統計的に効率的な強化学習アルゴリズムの設計という課題に取り組む。
• オンライン広告や自律走行システムなど、ユーザーの好みや環境ダイナミクスが変化する実世界の応用分野において、定常的RLの仮定に起因する制限を克服する。
• 環境ダイナミクスの全変動が有界である条件下で、線形関数近似を用いたエピソード的MDPにおいてサブ線形な動的リグレットを達成するアルゴリズムを開発する。
• 非定常線形MDPにおけるミニマックス動的リグレット下界を含む理論的保証を提供し、提案手法の近似的最適性を示す。
• 環境の変動量が事前に不明な状況においても、未知の変動予算に適応可能なパラメータフリーのアルゴリズム（Ada-LSVI-UCB-Restart）を設計する。

提案手法

• 環境の変動に適応するため、最小二乗価値反復（LSVI）の楽観的変種に加え、周期的なポリシー再起動を組み合わせた LSVI-UCB-Restart を提案する。
• 非定常性下での探索と活用のバランスを図るために、価値関数推定値における上位信頼区間（UCB）を用いる。
• 時間経過に伴う報酬関数および遷移関数の全変動を制御するための変動予算制約を導入し、リグレット解析を可能にする。
• 変動予算の事前知識が不要な状況を想定し、再起動間隔を適応的に調整するパラメータフリーな拡張版である Ada-LSVI-UCB-Restart を導入する。
• 真の価値関数が既知の特徴マップに関して線形であるという線形MDPの構造を活用し、効率的な関数近似を実現する。
• 時変ダイナミクス下での推定誤差を制御するため、行列集中不等式および自己正規化マルティングルールを応用する。

実験結果

リサーチクエスチョン

• RQ1 非定常MDPにおける線形関数近似を用いた統計的に効率的な強化学習アルゴリズムを設計できるか。その場合、サブ線形な動的リグレットを達成できるか。
• RQ2 全変動が有界な非定常線形MDPにおける動的リグレットの根本的限界（ミニマックスリグレット下界）は何か。
• RQ3 未知の環境変動レベルに適応可能なパラメータフリーのアルゴリズムをどのように設計できるか。
• RQ4 周期的な再起動を伴う楽観的アプローチが、線形MDPにおける時間的に変化する報酬関数および遷移関数を効果的に処理できるか。
• RQ5 関数近似を伴う非定常強化学習の文脈において、リグレットの理論的保証を対数因子を除いてタイトにできるか。

主な発見

• 変動予算 $ B $ が既知の場合、提案された LSVI-UCB-Restart アルゴリズムは、動的リグレットバウンド $ O(B^{1/3} d^{2/3} H^{1/3} T^{2/3}) $ を達成する。
• 変動予算 $ B $ の事前知識が不要な状況において、Ada-LSVI-UCB-Restart アルゴリズムは、$ O(B^{1/3} d^{2/3} H^{1/3} T^{2/3} \text{polylog}(T)) $ のやや悪い動的リグレットバウンドを達成し、未知の変動に適応可能である。
• 本稿では、非定常線形MDPにおけるミニマックス動的リグレット下界 $ \Omega(B^{1/3} d^{2/3} H^{1/3} T^{2/3}) $ を確立し、提案手法が対数因子を除いて近似的に最適であることを証明した。
• 理論的分析により、線形MDPにおけるミニマックスリグレット下界を初めて確立し、先行研究[1]が未解決のまま残したオープンな問題を解決した。
• 15状態、7行動、10のホライズン、10次元の特徴を持つ合成非定常線形MDPを用いた数値実験により、提案手法の有効性を確認した。環境変化が急激または徐々に行われる状況の両方で、両アルゴリズムが効果的に環境変化に適応していることが示された。
• 結果から、変動予算が未知であっても、Ada-LSVI-UCB-Restart が強い性能を維持していることが明らかになった。