[論文レビュー] You May Not Need Ratio Clipping in PPO

Mingfei Sun, Vitaly Kurin+5 more|arXiv (Cornell University)|Jan 31, 2022

Machine Learning and Algorithms被引用数 7

ひとこと要約

本論文は、理論的根拠に基づく比の乖離度を用いた早期停止を比のクリッピングに代えることで、PPOの新規変種であるEarly Stopping Policy Optimization (ESPO)を提案する。ESPOは複数のエポックにわたり、比のクリッピングを用いずに元のサーヴェイグレート目的関数を直接最適化し、単調な改善保証に基づいて導出された簡単な停止条件を用いる。この手法は、連続的制御ベンチマーク、特に分散学習環境においても、標準PPOよりも顕著に優れた性能を達成する。

ABSTRACT

Proximal Policy Optimization (PPO) methods learn a policy by iteratively performing multiple mini-batch optimization epochs of a surrogate objective with one set of sampled data. Ratio clipping PPO is a popular variant that clips the probability ratios between the target policy and the policy used to collect samples. Ratio clipping yields a pessimistic estimate of the original surrogate objective, and has been shown to be crucial for strong performance. We show in this paper that such ratio clipping may not be a good option as it can fail to effectively bound the ratios. Instead, one can directly optimize the original surrogate objective for multiple epochs; the key is to find a proper condition to early stop the optimization epoch in each iteration. Our theoretical analysis sheds light on how to determine when to stop the optimization epoch, and call the resulting algorithm Early Stopping Policy Optimization (ESPO). We compare ESPO with PPO across many continuous control tasks and show that ESPO significantly outperforms PPO. Furthermore, we show that ESPO can be easily scaled up to distributed training with many workers, delivering strong performance as well.

研究の動機と目的

• PPOにおける比のクリッピングが、安定的かつ効果的な方策最適化に必要かどうかを調査すること。
• 比のクリッピングの限界、例えば効果のない比のバウンディングや信頼領域制約の違反の可能性を特定すること。
• クリッピングを用いずに元のサーヴェイグレート目的関数を直接最適化する手法を開発し、方策の安定性を維持するための早期停止に依存すること。
• 比の乖離度に基づく理論的裏付けのある停止基準を提供し、単調な改善を保証すること。
• 提案手法の分散学習環境におけるスケーラビリティと性能を、単一およびマルチワーカー分散学習設定の両方で評価すること。

提案手法

• 本手法は、比のクリッピングを用いずに、複数のミニバッチエポックにわたり、保守的方策反復（CPI）のサーヴェイグレート目的関数を直接最適化するEarly Stopping Policy Optimization (ESPO)を提案する。
• 単一の比の乖離度が、方策更新のバウンディングを保証する理論的単調改善保証に基づいて導出された停止基準として導入される。
• 比の乖離度は各状態-行動サンプルごとに計算され、最適化エポックの終了時刻を決定するのに用いられ、過剰な方策更新を防ぐ。
• 停止閾値はハイパーパrameterであり、下界のタイトさとサンプル効率のバランスをとるもので、実験的検証により0.25で頑健であることが示された。
• 本手法は分散学習と互換性があり、複数のアクトロアがデータを収集し、学習者が並列で方策を更新する構成を想定し、ワーカー間で勾配を平均化する。
• 理論的分析により、比の乖離度はKLダイバージェンスや比のクリッピングよりも、方策の乖離をよりタイトかつ効果的にバウンディングできることを示した。

実験結果

リサーチクエスチョン

• RQ1 PPOにおける比のクリッピングは、方策更新比を効果的にバウンディングするのか、それともクリッピングがあっても比が無限大に成長する可能性があるのか？
• RQ2 適切な早期停止条件と組み合わせた場合、元のサーヴェイグレート目的関数の直接最適化は、比クリッピングPPOを上回ることができるのか？
• RQ3 本手法で提案された比の乖離度は、KLダイバージェンスと比較して、方策の乖離をより効果的にバウンディングし、単調な改善を保証できるのか？
• RQ4 ESPOは、多数のワーカーを用いた分散学習環境でもPPOの性能を維持または上回ることができるのか？
• RQ5 ESPOの性能向上は、停止基準に起因するのか、それとも他の実装レベルの最適化に起因するのか？

主な発見

• ESPOは、Ant、Humanoid、Walker2dを含む複数の連続的制御ベンチマークで、単一およびマルチワーカー設定において標準PPOを顕著に上回る性能を示した。
• 停止閾値が0.25のESPOは、一貫して頑健で、KLベースおよび比クリッピングベースのベースラインを上回る性能を示した。
• 1ワーカーでも、ESPOはHumanoidおよびHumanoidStandupにおいて分散PPO（DPPO）を上回り、Antでは同等の性能を示した。
• 10ワーカーを用いた分散ESPOは、分散PPOと同等またはそれ以上の性能を達成しており、強力なスケーラビリティとサンプル効率を示した。
• 比の乖離度はKLダイバージェンスよりも方策の乖離をよりタイトにバウンディングし、RD.25を用いたESPOはKL.05よりも一様に発散する方策更新を示しており、より効果的な最適化であることが示唆された。
• 実験的結果から、比のクリッピングは比の無限大成長を防止できず、信頼領域制約の強制にも効果が薄く、理論的裏付けが揺らぐ可能性があることが明らかになった。