[論文レビュー] Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise

Yue Wang, Shaofeng Zou|arXiv (Cornell University)|May 20, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 9

ひとこと要約

本稿は、マルコフ的ノイズ下での線形関数近似を用いたGreedy-GQアルゴリズムの最初の有限標本解析を提示し、最適制御を非凸最適化問題として定式化する。収束速度および標本複雑度の明示的バウンドを確立し、ステップサイズ選択およびオフポリシー強化学習における収束速度とポリシー品質のトレードオフに関する実用的指針を提供する。

ABSTRACT

Greedy-GQ is an off-policy two timescale algorithm for optimal control in reinforcement learning. This paper develops the first finite-sample analysis for the Greedy-GQ algorithm with linear function approximation under Markovian noise. Our finite-sample analysis provides theoretical justification for choosing stepsizes for this two timescale algorithm for faster convergence in practice, and suggests a trade-off between the convergence rate and the quality of the obtained policy. Our paper extends the finite-sample analyses of two timescale reinforcement learning algorithms from policy evaluation to optimal control, which is of more practical interest. Specifically, in contrast to existing finite-sample analyses for two timescale methods, e.g., GTD, GTD2 and TDC, where their objective functions are convex, the objective function of the Greedy-GQ algorithm is non-convex. Moreover, the Greedy-GQ algorithm is also not a linear two-timescale stochastic approximation algorithm. Our techniques in this paper provide a general framework for finite-sample analysis of non-convex value-based reinforcement learning algorithms for optimal control.

研究の動機と目的

• Greedy-GQの有限標本解析が不足しているという問題に対処すること。これは、線形関数近似を用いた最適制御のための2時刻スケールのオフポリシー手法である。
• 標準的なマルティングールノイズ仮定が成立しないマルコフ的ノイズ下での収束を分析すること。
• 特に最適制御を対象として、非凸価値ベース強化学習アルゴリズムの有限標本解析のための新規手法を構築すること。
• 2時刻スケール更新におけるマルコフ的ノイズがもたらす確率的バイアスを同定し、その伝搬をバウンドすること。
• 収束速度とポリシー品質のトレードオフを考慮した明示的標本複雑度バウンドおよび実用的なステップサイズ選択ルールを提供すること。

提案手法

• 行動価値関数に依存するため、本質的に非凸である平均二乗投影ベルヌーイ誤差（MSPBE）を最小化する非凸最適化問題としてGreedy-GQを定式化する。
• 2時刻スケール更新におけるターゲットポリシーの追跡から生じる確率的誤差の伝搬を分析するための再帰的バイアスバウンド技術を導入する。
• マルティングールノイズ仮定に依存しない分析フレームワークを構築し、単一の軌道から得られる非i.i.d.データへの適用を可能にする。
• ソフトマックスポリシーのリプシッツ性と滑らかさの性質を用いて勾配の変動を制御し、収束バウンドを導出する。
• ランダム化された確率的勾配法フレームワークを用いて、勾配ノルムがゼロに収束すること、つまり静止点への収束を分析する。
• 期待二乗勾配ノルムの明示的有限標本バウンドを導出し、収束速度がステップサイズや特徴次元などのアルゴリズムパラメータにどのように依存するかを特定する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ的ノイズ下での線形関数近似を用いたGreedy-GQの有限標本収束速度は何か？
• RQ2 非i.i.d.データに起因する確率的バイアスは、Greedy-GQの2時刻スケール更新においてどのように伝搬するか？
• RQ3 非凸最適化フレームワークは、最適制御のための2時刻スケール強化学習アルゴリズムの解析に有効に適用可能か？
• RQ4 Greedy-GQにおける収束速度とポリシー品質の間にはどのようなトレードオフがあり、それをバランスさせるためにステップサイズをどのように選べるか？
• RQ5 マルティングールノイズ仮定に依存せずに、非i.i.d.設定への分析をどのように拡張できるか？

主な発見

• 本稿は、定常ステップサイズのもとで、Greedy-GQが非凸MSPBE目的関数の静止点に収束することを確立し、期待二乗勾配ノルムがt回の反復に対してO(1/t)の速度で減少することを示している。
• 特徴次元、ポリシーの滑らかさ、およびマルコフ連鎖の混合性に依存する明示的有限標本バウンドが導出された。
• 収束速度がステップサイズの選択に敏感であることが示され、大きなステップサイズは収束を加速するが、ポリシー品質を低下させる可能性がある。
• 分析により、収束速度と最終的ポリシー品質の間の根本的なトレードオフが明らかになり、ハイパーパramータチューニングの理論的根拠が得られた。
• 提案された再帰的バイアスバウンド技術は、非i.i.d.マルコフ的ノイズ下でも2時刻スケール更新における誤差伝搬を効果的に制御できた。
• ソフトマックスポリシーが2σ-リプシッツかつ8σ²-滑らかであることが証明され、収束解析に必要な勾配変動の均一バウンドを導出可能となった。