[論文レビュー] On-Policy Trust Region Policy Optimisation with Replay Buffers

Dmitry Kangin, Nicolas Pugeault|arXiv (Cornell University)|Jan 18, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 4

ひとこと要約

本論文は、複数の過去の方策からのデータを再利用するリプレイバッファを統合した、新しいオンポリシー信頼領域強化学習アルゴリズムを提案する。サンプル効率を向上させるために、ヒューリスティックな信頼領域パラメータを固定ハイパーパrameterに置き換え、トレーニング可能な対角共分散行列を用いることで、MuJoCo環境においてSOTAのオンポリシー（PPO、TRPO、ACKTR）およびオフポリシー（DDPG）手法を上回る優れた性能を達成する。

ABSTRACT

Building upon the recent success of deep reinforcement learning methods, we investigate the possibility of on-policy reinforcement learning improvement by reusing the data from several consecutive policies. On-policy methods bring many benefits, such as ability to evaluate each resulting policy. However, they usually discard all the information about the policies which existed before. In this work, we propose adaptation of the replay buffer concept, borrowed from the off-policy learning setting, to create the method, combining advantages of on- and off-policy learning. To achieve this, the proposed algorithm generalises the $Q$-, value and advantage functions for data from multiple policies. The method uses trust region optimisation, while avoiding some of the common problems of the algorithms such as TRPO or ACKTR: it uses hyperparameters to replace the trust region selection heuristics, as well as the trainable covariance matrix instead of the fixed one. In many cases, the method not only improves the results comparing to the state-of-the-art trust region on-policy learning algorithms such as PPO, ACKTR and TRPO, but also with respect to their off-policy counterpart DDPG.

研究の動機と目的

• 各更新後に過去のポリシーのデータを破棄するオンポリシー手法の制限を克服し、複数の過去のポリシーからのデータを再利用することで、オンポリシー強化学習におけるサンプル効率を向上させること。
• 各更新後に過去のポリシーのデータを破棄するオンポリシー手法の制限を克服し、複数の過去のポリシーからのデータを再利用することで、オンポリシー強化学習におけるサンプル効率を向上させること。
• TRPOやACKTRで用いられるヒューリスティックな信頼領域パラメータ選択方法を、固定ハイパーパラメータに置き換えることで、ハイパーパラメータチューニングの煩わしさを排除すること。
• ポリシー最適化における安定性と性能を向上させるために、トレーナブルな対角共分散行列を用いること。
• リプレイバッファを介したオフポリシーのデータ再利用の利点と、オンポリシー評価の利点を組み合わせること。

提案手法

• オフポリシー学習で用いられるリプレイバッファの概念をオンポリシー設定に適応し、複数の最近のポリシーからの遷移を格納する。
• 重み付き組み合わせを用いて、Q関数、価値関数、アドバンテージ関数を複数のポリシーからのデータを統合する形に一般化する。
• TRPOやACKTRで用いられるヒューリスティックな選択方法に代わり、固定された信頼領域半径を用いた信頼領域最適化を採用する。
• 固定された共分散行列の代わりに、トレーナブルな対角共分散行列をポリシーネットワークに用いることで、適応的なポリシー探索を可能にする。
• K-FACに類似た曲率近似を用いた自然勾配最適化を適用し、安定したポリシー更新を実現する。
• 過去のポリシーのローリングバッファを維持し、各遷移に対してその対応するポリシーの価値およびアドバンテージ推定値を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー学習で用いられるリプレイバッファは、オンポリシー強化学習に効果的に適応可能か？ これによりサンプル効率が向上するか？
• RQ2 ヒューリスティックな信頼領域パラメータを固定ハイパーパラメータに置き換えることで、学習の安定性と性能が向上するか？
• RQ3 ポリシーネットワークにトレーナブルな対角共分散行列を用いることで、固定共分散行列を上回る性能が得られるか？
• RQ4 本手法は、連続制御タスクにおいてSOTAのオンポリシー（PPO、TRPO、ACKTR）およびオフポリシー（DDPG）アルゴリズムと比較して、どのように性能を発揮するか？
• RQ5 オンポリシー学習におけるデータ再利用とポリシー整合性のバランスをとる最適なリプレイバッファの深さは何か？

主な発見

• 提案手法は、10のMuJoCo環境のうち8つでPPO、TRPO、ACKTRを上回り、特にHumanoidStandupおよびStrikerで顕著な改善を示した。
• HalfCheetahを除き、すべてのタスクでDDPGよりも優れたサンプル効率を達成した。
• HumanoidStandup、Pusher、Striker、Throwerでは、DDPGが失敗したタスクでも安定した学習が達成された。
• トレーナブルな共分散行列と固定信頼領域半径を組み合わせることで、ハイパーパラメータへの感受性が低下し、収束の安定性が向上した。
• ほとんどのタスクでリプレイバッファの深さ3が最良の性能を示し、特にHumanoidStandupで顕著な向上が得られた。
• 複数のランダムシードにわたって一貫した性能を示し、学習のばらつきが小さく、ロバストであることが確認された。