[論文レビュー] ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs

Ted Moskovitz, Brendan O’Donoghue+4 more|arXiv (Cornell University)|Feb 2, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

ReLOADは、標準的な勾配降下上昇法が方策の安定化に失敗する制約付きMDPにおいて、最後の反復収束を達成するための新しい制約付き強化学習アルゴリズムを提案する。これは、楽観的上昇・降下最適化を用いたもので、表形式および関数近似設定の両方で最適方策への収束を保証する。安全性が求められるRLベンチマークにおいて、安定性と制約準拠性の両面でベースラインを上回る性能を発揮する。

ABSTRACT

In recent years, Reinforcement Learning (RL) has been applied to real-world problems with increasing success. Such applications often require to put constraints on the agent's behavior. Existing algorithms for constrained RL (CRL) rely on gradient descent-ascent, but this approach comes with a caveat. While these algorithms are guaranteed to converge on average, they do not guarantee last-iterate convergence, i.e., the current policy of the agent may never converge to the optimal solution. In practice, it is often observed that the policy alternates between satisfying the constraints and maximizing the reward, rarely accomplishing both objectives simultaneously. Here, we address this problem by introducing Reinforcement Learning with Optimistic Ascent-Descent (ReLOAD), a principled CRL method with guaranteed last-iterate convergence. We demonstrate its empirical effectiveness on a wide variety of CRL problems including discrete MDPs and continuous control. In the process we establish a benchmark of challenging CRL problems.

研究の動機と目的

• 従来の勾配降下上昇に依存する制約付きRLアルゴリズムに、最後の反復収束の欠如があることに対処すること。
• 平均の収束ではなく、現在の方策が最適解に収束することを理論的に保証する手法の開発。
• 離散的および連続的制御タスクを含む多様な挑戦的なCRL環境において、本手法の実証的妥当性の検証。
• 将来のアルゴリズム評価のための困難なCRL問題のベンチマークの確立。
• 楽観的ミラー降下が制約付きRLに効果的に適応可能であり、保証された収束性を有することの実証。

提案手法

• ReLOADは、制約付きMDPにおける報酬最大化と制約満たしのバランスを取るために、一般化された楽観的ミラー降下フレームワークを採用する。
• 方策学習の安定化と振動の回避を目的に、楽観的を組み込んだ修正された双対変数更新ルールを導入する。
• 更新の幾何構造をBregman散発に基づいて定義することで、非定常的かつ制約付き最適化設定でも収束を可能にする。
• ReLOADは、IMPALA や DMPO といったオフポリシー深層RLアルゴリズムと統合可能であり、関数近似とも互換性を持つ。
• 2段階タイムスケール更新を採用：楽観的双対変数を用いた方策更新と、修正されたステップサイズスケジュールを用いた双対変数更新。
• 本手法は、弱い仮定のもとで最後の反復収束を理論的に証明しており、GAN分野の先行研究を制約付きRLへと拡張する。

Figure 1: Standard gradient-based methods suffer from oscillations in constrained RL. (a) Training and agent to walk while keeping its height below different thresholds, learning looks stable when averaged across seeds. (b) Examining a single training run, we can see that learning oscillates dramati

実験結果

リサーチクエスチョン

• RQ1 標準的な勾配降下上昇法が失敗する制約付きMDPにおいて、楽観的上昇・降下法が最後の反復収束を達成できるか？
• RQ2 多様な環境において、ReLOADは既存のCRLベースラインと比べて、方策の安定性と制約準拠性の両面で優れているか？
• RQ3 現在のアルゴリズムの限界を露呈する、最も困難なCRLベンチマークは何か？
• RQ4 楽観的双対変数更新機構は、学習中の方策行動の振動を効果的に低減しているか？
• RQ5 ReLOADは、表形式および関数近似を用いた深層RL設定の両方へ効果的に適用可能か？

主な発見

• ReLOADは、表形式および深層RL設定の両方で最後の反復収束を達成するが、標準的なCRL手法は平均方策の収束しか達成しない。
• 高さ制約付きWalker環境では、ReLOAD-IMPALAが549.0±2.0の重み付き報酬を達成し、OGD-IMPALA（487.5±2.8）やμ*-IMPALA（356.7±32.8）を大きく上回った。
• 速度制約付きReacher環境では、ReLOAD-IMPALAが938.1±2.9の重み付き報酬を達成し、μ*-IMPALA（893.6±8.5）をも凌駕した。
• トルク制約付きQuadruped環境では、ReLOAD-DMPOが768.4±51.7のタスク報酬を達成し、μ*-DMPO（200.4±33.7）やOGD-DMPO（664.6±20.7）を上回った。
• Humanoidタスクでは、ReLOAD-DMPOが615.0±20.6の制約違反を維持し、報酬がより高いにもかかわらずμ*-DMPO（44.7±0.1）よりも制約準拠性に優れた。
• RWRLスイートの12の挑戦的な制約設定において、ReLOADは方策行動の振動が最小限に抑えられ、一貫した性能を示した。

Figure 2: Optimistic gradients achieve LIC. (a) GDA spirals outwards, while OGDA reaches the optimum. (b) The optimistic update ${\color[rgb]{0,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{0,0,0}\widetilde{}\nabla\mathcal{L}^{k}}$ bends the trajectory inwards. (c) One optimistic player is not enough