[論文レビュー] Regularization Matters in Policy Optimization - An Empirical Study on Continuous Control

Zhuang Liu, Xuanlin Li+2 more|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本論文は、連続的制御のための深層強化学習における方策ネットワークに、L2 やドロップアウトなどの従来の正則化手法を適用する初の包括的実験的分析を提示する。正則化により、特に困難なタスクにおいて性能が顕著に向上することが判明し、サンプル効率、報酬分布、重みノルム制御、ノイズ耐性の観点から一般化性能の向上がどのように達成されるかの洞察が得られた。

ABSTRACT

Deep Reinforcement Learning (Deep RL) has been receiving increasingly more attention thanks to its encouraging performance on a variety of control tasks. Yet, conventional regularization techniques in training neural networks (e.g., $L_2$ regularization, dropout) have been largely ignored in RL methods, possibly because agents are typically trained and evaluated in the same environment, and because the deep RL community focuses more on high-level algorithm designs. In this work, we present the first comprehensive study of regularization techniques with multiple policy optimization algorithms on continuous control tasks. Interestingly, we find conventional regularization techniques on the policy networks can often bring large improvement, especially on harder tasks. Our findings are shown to be robust against training hyperparameter variations. We also compare these techniques with the more widely used entropy regularization. In addition, we study regularizing different components and find that only regularizing the policy network is typically the best. We further analyze why regularization may help generalization in RL from four perspectives - sample complexity, reward distribution, weight norm, and noise robustness. We hope our study provides guidance for future practices in regularizing policy optimization algorithms. Our code is available at this https URL .

研究の動機と目的

• 従来の正則化手法（例：L2、ドロップアウト）が深層強化学習における方策最適化に与える影響を調査すること。
• 正則化が連続的制御タスクにおける一般化性能とサンプル効率を向上させるかどうかを特定すること。
• 強化学習で広く用いられるエントロピー正則化と比較して、従来の正則化の有効性を評価すること。
• 方策ネットワークのどの構成要素が正則化によって最も恩恵を受けるかを特定すること。
• 正則化が深層強化学習における性能向上に寄与する背後にある理由を、複数の理論的視点から理解すること。

提案手法

• 複数の連続的制御環境において、方策ネットワークに L2 重み減衰、ドロップアウト、バッチ正則化といった複数の正則化手法を実験的に評価する。
• 方策ネットワークの異なる構成要素（例：エージェントヘッド、価値ヘッド、共有特徴）に正則化を適用し、性能を比較する。
• 標準的な方策最適化アルゴリズム（例：SAC、TD3）を用い、ハイパーパrameterを変更することで正則化効果の頑健性を検証する。
• サンプル複雑性、報酬分布シフト、重みノルム制御、ノイズ耐性の4つの理論的視点から、正則化の影響を分析する。
• 正則化が方策ネットワーク自体に与える寄与を分離するためのアブレーションスタディを実施する。
• 再現性を確保し、方策最適化における正則化のさらなるベンチマークを可能にするためにコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 方策ネットワークに従来の正則化手法（例：L2、ドロップアウト）を適用することで、連続的制御タスクにおける性能向上が達成されるか？
• RQ2 方策最適化において、従来の正則化はエントロピー正則化と比較してどの程度有効か？
• RQ3 方策ネットワークのどの構成要素（例：方策ヘッド、価値ヘッド）が正則化によって最も恩恵を受けるか？
• RQ4 正則化の利点は、異なるハイパーパrameter設定や環境設定に対しても頑健か？
• RQ5 正則化が深層強化学習における一般化性能を向上させる背後にある理由は何か？

主な発見

• L2 やドロップアウトなどの従来の正則化手法は、連続的制御タスク、特に困難な環境において一貫して性能を向上させる。
• 価値ネットワークや共有特徴層に正則化を適用するのではなく、方策ネットワークにのみ正則化を適用する方が、より優れた結果を得られる。
• 正則化による性能向上は、異なるハイパーパrameter設定に対しても頑健であり、広範な適用可能性を示している。
• 正則化は過学習を低減し、報酬分布の安定化と重みノルムの制御によって一般化性能を向上させる。
• 正則化の利点の一部は、ノイズ耐性の向上と入力摂動に対する感受性の低減によるものである。
• 本研究では、正則化がサンプル効率を向上させ、学習ダイナミクスの分散を低減できることを示した。