[論文レビュー] Optimism in Reinforcement Learning with Generalized Linear Function Approximation

Yining Wang, Ruosong Wang+2 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Bandit Algorithms Research参考文献 29被引用数 54

ひとこと要約

この論文は、楽観的ベルマンバックアップを用いた一般化線形関数近似を用いる証明可能に効率的な強化学習アルゴリズムを紹介し、tilde O(H sqrt(d^3 T)) のサブ線形後悔境界を達成する。

ABSTRACT

We design a new provably efficient algorithm for episodic reinforcement learning with generalized linear function approximation. We analyze the algorithm under a new expressivity assumption that we call "optimistic closure," which is strictly weaker than assumptions from prior analyses for the linear setting. With optimistic closure, we prove that our algorithm enjoys a regret bound of $\tilde{O}(\sqrt{d^3 T})$ where $d$ is the dimensionality of the state-action features and $T$ is the number of episodes. This is the first statistically and computationally efficient algorithm for reinforcement learning with generalized linear functions.

研究の動機と目的

• エピソードMDPにおける関数近似が必要な無限状態空間での学習を動機づける。
• 嗜好的な楽観性を通じてサンプル効率を保つ、単純なGLMベースのQ学習バリアントを提案する。
• 従来のダイナミクスベースの要件を緩和する楽観的閉包と呼ばれる表現力の仮定を導入する。
• 新しい仮定の下で提案アルゴリズムの後悔保証を確立する。

提案手法

• knownな特徴マップとリンク関数を用いて、最適Q関数を近似するGLMクラスを用いる。
• 逆方向の動的計画ステップと楽観的ボーナスを用いて楽観的Q値推定を維持する。
• 各時間ステップで制約付き最小二乗問題を解くことによりQ関数パラメータを更新する。
• min{1, f(phi(s,a)^T hat{theta}) + gamma ||phi(s,a)||_{Lambda^{-1}}} の境界による楽観的Q関数を定義する。
• 現在の楽観的Q関数に基づく貪欲な方策をデプロイし、エピソードを繰り返す。

実験結果

リサーチクエスチョン

• RQ1 楽観的閉包は、GLMを用いた証明可能に効率的なRLを可能にする十分な表現力を提供するか。
• RQ2 GLMベースの楽観性は、保証と実用性の点で線形MDPの仮定と比べてどうか。
• RQ3 楽観的閉包の下でGLMsを用いたエピソードRLで達成可能な後悔境界はどれくらいか。
• RQ4 提案手法は、線形モデルを超えるより一般的な関数クラスへと拡張可能で、計算的 feasibile性を保つか。

主な発見

• LSVI-UCB、エピソードRLのGLMベースの動的計画アルゴリズムを提案。
• 楽観的閉包と緩やかな正規性条件の下でtilde O(H sqrt(d^3 T)) の後悔境界を証明。
• 楽観的閉包は実現可能性を意味し、線形MDP仮定よりも厳しくないことを示す。
• 本手法は priorのタブラーおよび線形関数の結果を一般化し、GLMベースのRLを可能にする。
• 系論: 標準的な特徴を用いたタブラー設定では、後悔境界が tilde O(H |S|^3 |A|^3 T) となる（論文の枠組みに基づく。）