[論文レビュー] Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity

Shaocong Ma, Ziyi Chen+2 more|arXiv (Cornell University)|Mar 30, 2021

Reinforcement Learning in Robotics参考文献 36被引用数 7

ひとこと要約

本稿では、線形関数近似およびマコフ的サンプリングの下で、オフポリシー最適制御のための分散低減型2時間スケール強化学習アルゴリズムであるVR-Greedy-GQを提案する。両方の時間スケール更新における確率的勾配の分散低減にSVRGスキームを統合することで、元のGreedy-GQの$ olimits^{-3}$の複雑さに対し、$ olimits^{-2}$の改善されたサンプル複雑さを達成し、$ olimits$-停留点への収束を維持する。

ABSTRACT

Greedy-GQ is a value-based reinforcement learning (RL) algorithm for optimal control. Recently, the finite-time analysis of Greedy-GQ has been developed under linear function approximation and Markovian sampling, and the algorithm is shown to achieve an $ε$-stationary point with a sample complexity in the order of $\mathcal{O}(ε^{-3})$. Such a high sample complexity is due to the large variance induced by the Markovian samples. In this paper, we propose a variance-reduced Greedy-GQ (VR-Greedy-GQ) algorithm for off-policy optimal control. In particular, the algorithm applies the SVRG-based variance reduction scheme to reduce the stochastic variance of the two time-scale updates. We study the finite-time convergence of VR-Greedy-GQ under linear function approximation and Markovian sampling and show that the algorithm achieves a much smaller bias and variance error than the original Greedy-GQ. In particular, we prove that VR-Greedy-GQ achieves an improved sample complexity that is in the order of $\mathcal{O}(ε^{-2})$. We further compare the performance of VR-Greedy-GQ with that of Greedy-GQ in various RL experiments to corroborate our theoretical findings.

研究の動機と目的

• マコフ的サンプリング下でのGreedy-GQの高いサンプル複雑さを是正すること。これは、オフポリシー時系列差分更新における大きな確率的分散に起因する。
• 2時間スケール更新に特化した分散低減スキームを構築すること。SVRGフレームワークを活用し、学習の安定化を図る。
• 線形関数近似およびマコフ的サンプリングの下で、提案されたアルゴリズムの有限時間収束保証を確立すること。
• 理論的および実験的に、分散低減が最適制御におけるサンプル効率の向上に寄与することを示すこと。

提案手法

• アルゴリズムは、Greedy-GQにおける高速および遅速時間スケール更新の両方に対して、SVRGベースの分散低減技術を適用する。制御変数を計算するためにサイズ$M$のリファレンスバッチを用いる。
• 外ループの開始時にパラメータ$\widetilde{\theta}^{(m)}$および$\widetilde{\omega}^{(m)}$のスナップショットを保持することで、確率的勾配の分散を低減する。
• ポリシーのパラメータ$\theta$と価値関数のパラメータ$\omega$のそれぞれに対して、学習率$\eta_\theta$および$\eta_\omega$を別々に用い、2時間スケール更新スキームを採用する。
• 理論的分析により、バイアス誤差と分散誤差がそれぞれ$ olimits^{-1}$および$ olimits^{-1}$に抑えられ、Greedy-GQと比較して分散が$M$倍低減されていることが示された。
• 経験リプレイと行動方策からのマコフ的サンプリングを用いた、オフポリシー学習に特化した設計である。
• 収束解析は、SVRGスタイルの議論を2時間スケール、非凸設定に拡張したものであり、マコフ的依存性下での新しいバイアスおよび分散制御技術を要する。

実験結果

リサーチクエスチョン

• RQ1 マコフ的サンプリング下で、Greedy-GQの2時間スケール更新に分散低減スキームを効果的に適用できるか？
• RQ2 提案された分散低減アルゴリズムは、有限時間設定において、元のGreedy-GQよりも優れたサンプル複雑さを達成できるか？
• RQ3 SVRGフレームワークは、2時間スケール強化学習における相関的・非凸的更新を処理できるように適応可能か？
• RQ4 分散低減設定下で、バッチサイズ$M$、学習率$\eta_\theta$、収束誤差の理論的トレードオフは何か？
• RQ5 有限時間領域において、バイアスおよび分散は$M$および$\eta_\theta$にどのように依存するか？

主な発見

• VR-Greedy-GQは、サンプル複雑さ$ olimits^{-2}$で$ olimits$-停留点に到達し、元のGreedy-GQの$ olimits^{-3}$に比べて改善された。
• マコフ的サンプリングに起因するバイアス誤差は$ olimits^{-1}$に低減され、分散誤差は$ olimits^{-1}$に低減され、両方ともGreedy-GQと比較して$M$倍低減された。
• 理論的分析により、線形関数近似下で2時間スケール更新におけるバイアスおよび分散が、分散低減機構によって顕著に低減されていることが確認された。
• GarnetおよびFrozen Lake環境における実験的評価では、VR-Greedy-GQがGreedy-GQよりも高速に収束し、より高い最大期待報酬を達成した。
• 複数の軌道にわたって安定した性能を維持し、訓練の進行に伴い最大推定報酬が着実に増加する傾向を示しており、効果的なポリシー最適化が実現されている。
• サンプル複雑さの向上は、両方の時間スケール更新における勾配ノイズ低減を実現するSVRGベースの制御変数機構に起因する。