[論文レビュー] On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning

Alireza Fallah, Kristian Georgiev+2 more|arXiv (Cornell University)|Feb 12, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、テスト時に不偏な確率的ポリシー勾配を使用する、モデルに依存しないメタ強化学習のための新規手法であるStochastic Gradient Meta-Reinforcement Learning (SG-MRL) を提案する。本手法は、バッチサイズと学習率を制御することで、$\epsilon$-一次の静的点に収束することを示し、従来の手法におけるバイアスと分散の問題を解消することで、メタ強化学習に対する初めての収束保証を確立する。

ABSTRACT

We consider Model-Agnostic Meta-Learning (MAML) methods for Reinforcement Learning (RL) problems, where the goal is to find a policy using data from several tasks represented by Markov Decision Processes (MDPs) that can be updated by one step of stochastic policy gradient for the realized MDP. In particular, using stochastic gradients in MAML update steps is crucial for RL problems since computation of exact gradients requires access to a large number of possible trajectories. For this formulation, we propose a variant of the MAML method, named Stochastic Gradient Meta-Reinforcement Learning (SG-MRL), and study its convergence properties. We derive the iteration and sample complexity of SG-MRL to find an $\\epsilon$-first-order stationary point, which, to the best of our knowledge, provides the first convergence guarantee for model-agnostic meta-reinforcement learning algorithms. We further show how our results extend to the case where more than one step of stochastic policy gradient method is used at test time. Finally, we empirically compare SG-MRL and MAML in several deep RL environments.

研究の動機と目的

• 既存のモデルに依存しないメタ強化学習手法における理論的収束保証の欠如に対処する。
• 実際の実装で使用される確率的ポリシー勾配更新における非収縮するバイアスと分散を解消し、一次最適性への正確な収束を可能にする。
• テスト時に確率的ポリシー勾配を使用するMAMLの変種を定式化・分析し、理論と実装を整合させる。
• テスト時に単一ステップおよび複数ステップの確率的ポリシー勾配更新の両方について収束解析を提供する。
• 2次元ナビゲーションおよびMuJoCoの歩行環境において、本手法を実証的に検証する。

提案手法

• メタ目的関数のための不偏勾配推定を用いる、確率的勾配に基づくメタ強化学習アルゴリズムであるSG-MRLを提案する。
• バッチサイズを制御することで分散を低減し、バイアスを排除するため、メタ更新ステップにバッチサイズ制御付きの確率的ポリシー勾配推定器を設計する。
• 二段階の最適化構造を活用：内側ループでは個々のタスク上で確率的ポリシー勾配更新を実行し、外側ループでは不偏推定を用いて初期ポリシーを最適化する。
• 値関数勾配のリプシッツ連続性および勾配ノルムの有界性に関する仮定を用いて収束バウンドを導出する。
• $\epsilon$-一次の静的点への収束を保証するための学習率およびバッチサイズの条件を導入する。
• 再帰的勾配分解と分散制御を用いて、複数の内側ループポリシー勾配ステップへの解析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 確率的ポリシー勾配を用いるモデルに依存しないメタ強化学習アルゴリズムは、一次の静的点への収束を達成できるか？
• RQ2 学習率とバッチサイズにどのような条件を課すことで、メタ強化学習における$\epsilon$-静的点への収束が保証されるか？
• RQ3 標準的な確率的ポリシー勾配手法における非収縮するバイアスは、メタ強化学習における収束にどのように影響するか？
• RQ4 収束理論は複数の内側ループポリシー勾配ステップに拡張可能か？
• RQ5 提案された不偏推定器は、実際の標準MAMLと比較して性能をどのように向上させるか？

主な発見

• SG-MRLは、学習率とバッチサイズに関する緩い条件のもとで、$\epsilon$-一次の静的点への収束を達成し、モデルに依存しないメタ強化学習に対する初めての理論的収束保証を提供する。
• 不偏勾配推定器を用いることで、従来の確率的ポリシー勾配に基づくメタ強化学習手法に見られる非収縮するバイアスを克服し、正確な一次最適性を達成する。
• 学習率が十分に小さいか、バッチサイズが十分に大きい場合に収束が保証され、必要なバッチサイズと学習率の明確なバウンドが導出されている。
• 理論的解析は複数の内側ループポリシー勾配ステップに拡張されており、同様の条件下で同じ収束特性が成り立つことが示された。
• 2次元ナビゲーションおよびMuJoCoの歩行タスクにおける実証的結果から、SG-MRLはサンプル効率および最終的なパフォーマンスにおいて標準MAMLを上回ることが示された。
• すべての評価環境で10個の異なる乱数シードにおいて安定した学習と一貫したパフォーマンスを達成しており、ロバスト性が確認された。