[論文レビュー] Mirror Descent Policy Optimization

Manan Tomar, Lior Shani+2 more|arXiv (Cornell University)|May 20, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 24

ひとこと要約

本稿では、ミラー降下の原則に基づいて導出された統一的強化学習アルゴリズムであるミラー降下方策最適化（MDPO）を提案する。MDPOは、複数回の勾配ステップを用いて信頼領域方策更新を近似することで、TRPO、PPO、SACと比較して最先端または同等の性能を達成する。これは、明示的な信頼領域制約が高パフォーマンスに必要でないことを示している。

ABSTRACT

Mirror descent (MD), a well-known first-order method in constrained convex optimization, has recently been shown as an important tool to analyze trust-region algorithms in reinforcement learning (RL). However, there remains a considerable gap between such theoretically analyzed algorithms and the ones used in practice. Inspired by this, we propose an efficient RL algorithm, called {\em mirror descent policy optimization} (MDPO). MDPO iteratively updates the policy by {\em approximately} solving a trust-region problem, whose objective function consists of two terms: a linearization of the standard RL objective and a proximity term that restricts two consecutive policies to be close to each other. Each update performs this approximation by taking multiple gradient steps on this objective function. We derive {\em on-policy} and {\em off-policy} variants of MDPO, while emphasizing important design choices motivated by the existing theory of MD in RL. We highlight the connections between on-policy MDPO and two popular trust-region RL algorithms: TRPO and PPO, and show that explicitly enforcing the trust-region constraint is in fact {\em not} a necessity for high performance gains in TRPO. We then show how the popular soft actor-critic (SAC) algorithm can be derived by slight modifications of off-policy MDPO. Overall, MDPO is derived from the MD principles, offers a unified approach to viewing a number of popular RL algorithms, and performs better than or on-par with TRPO, PPO, and SAC in a number of continuous control tasks. Code is available at \url{https://github.com/manantomar/Mirror-Descent-Policy-Optimization}.

研究の動機と目的

• 理論的に根拠のある信頼領域強化学習アルゴリズムと、TRPO や PPO のような実用的で深い強化学習手法との間のギャップを埋めること。
• 連続制御における方策最適化のための、ミラー降下（MD）の原則に基づいたスケーラブルで実用的な強化学習アルゴリズムを開発すること。
• 信頼領域制約を明示的に課さずに高パフォーマンスを達成できることを示すために、勾配ステップを用いて制約なしの問題を解く手法を導出すること。
• TRPO、PPO、SAC といった既存のアルゴリズムを、統一的な MD に基づくフレームワークに統合し、それらの背後にある関係を明らかにすること。
• MuJoCo ベンチマーク環境において、MDPO が最先端のアルゴリズムと同等または優れた性能を示すことを実証的に検証すること。

提案手法

• MDPO は、各方策更新を、線形化された強化学習目的関数と、Bregman 散発（例：KL 散発やツァリス散発）に基づく近接項を含む信頼領域部分問題として定式化する。
• 信頼領域問題を正確に解く代わりに、MDPO は目的関数に対して複数回の勾配ステップを実行することで解を近似する。
• オンポリシー MDPO は、近接項の基準として古い方策を用いる。これにより、散発関数と更新メカニズムの選択によって、TRPO や PPO と関連づけられる。
• オフポリシー MDPO は、一様方策を基準として用いる。これにより、散発関数と更新ルールを変更することで、SAC を直接導出可能となる。
• MDPO は KL 散発とツァリス散発の両方をサポートしており、後者は調整可能なハイパーパrameter $ q \in [1.0, 2.0] $ を導入し、性能向上に寄与する。
• 本手法はオンポリシーおよびオフポリシーの両バージョンで実装されており、再現性と比較のためのコードが公開されている。

実験結果

リサーチクエスチョン

• RQ1 ミラー降下の原則を用いて、TRPO、PPO、SAC を統合する実用的でスケーラブルな強化学習アルゴリズムを導出できるか？
• RQ2 TRPO のように明示的な信頼領域制約を課さずに、深層強化学習で高い性能を達成することは可能か？
• RQ3 MDPO の設計選択（例：複数回の勾配ステップの使用、散発関数の選択）が、最先端のアルゴリズムと比較して性能に与える影響は何か？
• RQ4 ツァリスエントロピーを用いたオフポリシー MDPO は SAC を上回る性能を示すか？また、$ q $ ハイパーパrameter の役割は何か？
• RQ5 ヴァニラ版と最適化版の両方を用いた場合、TRPO、PPO、SAC 間のパフォーマンス差の背後にある要因は何か？

主な発見

• オンポリシー MDPO は、MuJoCo ベンチマークスイートの複数の連続制御タスクにおいて、TRPO、PPO、SAC を上回るか同等の性能を達成する。
• ヴァニラ版および最適化版の両方において、TRPO は PPO を一貫して上回る。これは、PPO が優れているという一般的な認識に疑問を呈する。
• MDPO は、信頼領域制約を明示的に課さずに、信頼領域目的関数の勾配に基づく近似に依存することで、強力な性能を達成できる。
• ツァリスエントロピー（$ q \in [1.0, 2.0] $）を用いたオフポリシー MDPO は、すべてのタスクで SAC を上回る性能を示し、最適な $ q $ 値は環境ごとに異なる。
• オフポリシー版の MDPO は、サンプル効率と最終的なパフォーマンスがオンポリシー版を上回り、一般に知られるオフポリシーの利点と整合的である。
• SAC は、散発関数と基準方策を変更することで、オフポリシー MDPO の特別な場合として導出可能であり、SAC の最適化的視点を新たな枠組みで明らかにする。