[論文レビュー] Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO

Logan Engstrom, Andrew Ilyas+5 more|arXiv (Cornell University)|May 25, 2020

Reinforcement Learning in Robotics参考文献 16被引用数 137

ひとこと要約

この論文は、PPOのコードレベルの最適化がTRPOに対する性能向上の大部分を駆動し、クリッピング機構だけでなく政策勾配法におけるトラストレジオンの動作を根本的に変える可能性があるという、詳細なアブレーション研究を行っている。

ABSTRACT

We study the roots of algorithmic progress in deep policy gradient algorithms through a case study on two popular algorithms: Proximal Policy Optimization (PPO) and Trust Region Policy Optimization (TRPO). Specifically, we investigate the consequences of "code-level optimizations:" algorithm augmentations found only in implementations or described as auxiliary details to the core algorithm. Seemingly of secondary importance, such optimizations turn out to have a major impact on agent behavior. Our results show that they (a) are responsible for most of PPO's gain in cumulative reward over TRPO, and (b) fundamentally change how RL methods function. These insights show the difficulty and importance of attributing performance gains in deep reinforcement learning. Code for reproducing our results is available at https://github.com/MadryLab/implementation-matters .

研究の動機と目的

• 深層政策勾配法の各コンポーネントがエージェントの訓練と性能にどのように影響するかを評価する。
• PPOにおけるコードレベルの最適化のうち、TRPOに対する性能向上の原因を特定する。
• 最終報酬と訓練ダイナミクスへの各コンポーネントの影響を理解することで、モジュール設計を促進する。

提案手法

• コードレベルの最適化を伴う/伴わないTRPOとPPOの実装をアブレーション研究を通じて比較する。
• PPO-M（コードレベルの最適化を行わないPPO）とTRPO+（PPO風の最適化を備えたTRPO）を導入し、影響を分離する。
• MuJoCoタスク（例: Walker2d-v2、Hopper-v2、Humanoid-v2）を複数の乱数シードとハイパーパラメータグリッドで評価する。
• 最終報酬、ステップごとの指標、信頼領域指標（KL発散と比率制約）を測定する。
• AAIとACLI指標を定義し、アルゴリズム選択とコードレベル最適化の相対的影響を定量化する。

実験結果

リサーチクエスチョン

• RQ1 PPOのコードレベル最適化はTRPOと比較して最終的な性能にどのように影響するか？
• RQ2 コードレベルの最適化は、クリッピング機構だけが示唆する以上にPPOの信頼域の挙動を変えるか？
• RQ3 タスクを横断して、コアアルゴリズムの選択とコードレベルの最適化の相対寄与度はどの程度か？

主な発見

• コードレベルの最適化は、PPOがTRPOに対して得られる性能向上のかなりの部分を占める。
• PPOとPPO-Mは主に最適化が信頼領域の形を決める点で異なり、クリッピング機構だけではない。
• コードレベルの最適化はハイパーパラメータの変更より時に報酬の地形に大きく影響し、PPOとTRPOを変える以上の影響を与えることがある。
• PPO-NoClipは、十分なコードレベルの最適化と組み合わせればPPOの性能に追従でき、クリッピングが必須でないことを示唆する。
• TRPO+とPPO-Mは、最適化がほとんどのタスクでコアアルゴリズムの選択よりも上回る可能性があることを示す。