[論文レビュー] Proximal Reinforcement Learning: A New Theory of Sequential Decision Making in Primal-Dual Spaces

Sridhar Mahadevan, Bo Liu+6 more|arXiv (Cornell University)|May 26, 2014

Stochastic Gradient Optimization Techniques参考文献 113被引用数 45

ひとこと要約

本稿は、Legendre変換とproximal作用素を用いて、原始空間と双対空間を介して時系列差分学習と確率的最適化を統一する、新しいproximal強化学習フレームワークを導入する。これにより、保証された収束性、安定性、安全性を備えたオフポリシー学習が可能となり、収束速度が向上し、GTD2-MPに対して加速された$O(1/N)$レートを達成する。また、鏡降下、自然勾配、スパース学習のための体系的基盤を提供する。

ABSTRACT

In this paper, we set forth a new vision of reinforcement learning developed by us over the past few years, one that yields mathematically rigorous solutions to longstanding important questions that have remained unresolved: (i) how to design reliable, convergent, and robust reinforcement learning algorithms (ii) how to guarantee that reinforcement learning satisfies pre-specified "safety" guarantees, and remains in a stable region of the parameter space (iii) how to design "off-policy" temporal difference learning algorithms in a reliable and stable manner, and finally (iv) how to integrate the study of reinforcement learning into the rich theory of stochastic optimization. In this paper, we provide detailed answers to all these questions using the powerful framework of proximal operators. The key idea that emerges is the use of primal dual spaces connected through the use of a Legendre transform. This allows temporal difference updates to occur in dual spaces, allowing a variety of important technical advantages. The Legendre transform elegantly generalizes past algorithms for solving reinforcement learning problems, such as natural gradient methods, which we show relate closely to the previously unconnected framework of mirror descent methods. Equally importantly, proximal operator theory enables the systematic development of operator splitting methods that show how to safely and reliably decompose complex products of gradients that occur in recent variants of gradient-based temporal difference learning. This key technical innovation makes it possible to finally design "true" stochastic gradient methods for reinforcement learning. Finally, Legendre transforms enable a variety of other benefits, including modeling sparsity and domain geometry. Our work builds extensively on recent work on the convergence of saddle-point algorithms, and on the theory of monotone operators.

研究の動機と目的

• 逐次意思決定における収束性、安定性、安全性を保証する数学的に厳密な強化学習理論の構築。
• オフポリシー時系列差分学習における長年の課題を解決し、信頼性が高く安定的かつ収束性を有するアルゴリズムの実現。
• 共通のproximal作用素フレームワークの下で自然勾配法とミラー降下法を統一すること。
• 作用素分割とproximal更新を用いて、RLにおける真の確率的勾配法の実現。
• 収束性とスパarsityの保証を伴う、RLをより広範な確率的複合最適化理論に統合すること。

提案手法

• 原始空間と双対空間の間の写像にLegendre変換を用い、安定性と収束性の向上を図る双対空間内での更新を可能にする。
• 非滑らかな正則化項や複合目的関数を取り扱うためにproximal作用素を適用し、特に価値関数近似において有効である。
• 特に前向き後向き分割および原始・双対分割を用いた作用素分割戦略を採用し、オフポリシーTD学習における複雑な勾配積を分解する。
• extragradientスタイルの更新を用いて加速収束を達成するミラー・プロキシバリアントとしてのGTD2-MPアルゴリズムを導入する。
• 単調作用素理論とサドルポイント定式化を用いて収束性を分析し、最適レートを導出する。
• Bregman散発とミラー降下を用いて、スパース学習と幾何学的注意をもった価値関数近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー設定下で、保証された収束性と安定性を有する強化学習アルゴリズムをどのように設計できるか？
• RQ2 パrameterがパrameter空間の安定領域内に保たれることで、安全性と安定性をどのように保証できるか？
• RQ3 価値関数学習における真の確率的勾配法を体系的に導出するにはどうすればよいか？
• RQ4 自然勾配法とミラー降下法を共通の理論的枠組みでどのように統一できるか？
• RQ5 オフポリシー時系列差分学習で加速収束速度を達成するにはどうすればよいか？

主な発見

• GTD2-MPアルゴリズムは、標準的なGTD/GTD2の$O\big(\frac{L_{F^*} + L_K + \theta}{\nu}\big)$レートよりも優れた$O\big(\frac{L_{F^*} + L_K}{N} + \frac{\theta}{\nu}\big)$の加速収束速度を達成する。
• GTD2-MPにおける価値関数近似誤差$||V - V_\theta||_\text{infty}$は、$\frac{L_\text{phi}^\Xi}{1 - \gamma} \cdot O\big(\frac{L_{F^*} + L_K}{N} + \frac{\sigma}{\sqrt{N}}\big)$で有界であり、サンプル効率が向上する。
• Legendre変換を介して、自然勾配降下とミラー降下が等価であることが確立され、RLにおける2つの主要な最適化パラダイムが統一される。
• Proximal作用素により、複雑な勾配積の体系的分解が可能となり、RLにおける真の確率的勾配法の実現が可能になる。
• Bregman散発の使用により、スパース学習とドメイン幾何のモデリングが可能となり、高次元空間における効率的な表現が可能になる。
• 理論的分析により、GTD/GTD2に原始平均ステップを追加すると、$O(1/\sqrt{N})$収束速度を有する標準的なPolyak型アルゴリズムに変換されることが確認された。