[論文レビュー] Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning

Michał Nauman, Michał Bortkiewicz+4 more|arXiv (Cornell University)|Mar 1, 2024

Embodied and Extended CognitionNeuroscience被引用数 3

ひとこと要約

本論文は、2つのベンチマークから得た14の多様な制御タスクにおいて、オフポリシーのアクタクリティック強化学習に、正則化手法（ネットワーク、クリティック、プラスティシティ正則化）の影響を調査している。その結果、層正則化（例：レイヤーノーマライゼーション）と全パラメータリセットを組み合わせた単純なネットワーク正則化が、複雑なRL特化手法を上回ることを示した。これにより、モデルフリーのエージェントが以前は解けなかったタスク（例えばドッグドメイン）を解けるようになった。一方、クリティック正則化はしばしば性能を低下させる傾向にあった。

ABSTRACT

Recent advancements in off-policy Reinforcement Learning (RL) have significantly improved sample efficiency, primarily due to the incorporation of various forms of regularization that enable more gradient update steps than traditional agents. However, many of these techniques have been tested in limited settings, often on tasks from single simulation benchmarks and against well-known algorithms rather than a range of regularization approaches. This limits our understanding of the specific mechanisms driving RL improvements. To address this, we implemented over 60 different off-policy agents, each integrating established regularization techniques from recent state-of-the-art algorithms. We tested these agents across 14 diverse tasks from 2 simulation benchmarks, measuring training metrics related to overestimation, overfitting, and plasticity loss -- issues that motivate the examined regularization techniques. Our findings reveal that while the effectiveness of a specific regularization setup varies with the task, certain combinations consistently demonstrate robust and superior performance. Notably, a simple Soft Actor-Critic agent, appropriately regularized, reliably finds a better-performing policy within the training regime, which previously was achieved mainly through model-based approaches.

研究の動機と目的

• 14のタスクと2つのベンチマークを対象に、60以上のオフポリシー・エージェント変種の有効性と頑健性を評価すること。
• オフポリシー強化学習における、ネットワーク、クリティック、プラスティシティ正則化の3つの正則化手法の相互作用とパフォーマンスへの影響を理解すること。
• 一般用途のニューラルネットワーク正則化が、サンプル効率の高い強化学習において、ドメイン特化のアルゴリズム的改善を上回る可能性があるかどうかを検証すること。
• 深層強化学習の学習ダイナミクスにおいて、過大評価、過学習、プラスティシティ損失の相関関係を調査すること。
• 高リプレイレート環境下で安定した学習を実現するために、クリティック特化の正則化が不可欠であるという仮定に疑問を呈すること。

提案手法

• 最近のSOTAアルゴリズムから得た12の正則化設計選択を組み合わせることで、64種類のSACベースのエージェント変種を実装した。
• DeepMind Control Suite（DMC）およびMetaWorldの14のタスクにおいて、2つのリプレイレートレギームでエージェントを評価した。
• 勾配ノルム、価値の過大評価、過学習、プラスティシティ損失を代理指標として用い、学習ダイナミクスを分析した。
• レイヤーノーマライゼーション、スペクトルノルム、ウェイトデイエイ、全パラメータウェイトリセットをネットワーク正則化手法として適用した。
• 過大評価や過学習といった特定の問題に焦点を当てた干渉処置が、複数の代理指標に与える影響を比較した。
• 個々の正則化コンponentのパフォーマンスへの影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 どのような正則化手法が、多様な制御タスクにおいて、頑健かつ一般化可能なパフォーマンス向上をもたらすか？
• RQ2 一般用途のニューラルネットワーク正則化は、オフポリシーのアクタクリティック強化学習において、ドメイン特化のRLアルゴリズム的改善を上回ることができるか？
• RQ3 過大評価、過学習、プラスティシティ損失は、異なる環境や学習レギームにおいて、エージェントのパフォーマンスとどのように相関するか？
• RQ4 Clipped Double Q学習は、歩行タスクでは成功しているが、なぜ操作タスクでは失敗するのか？
• RQ5 過学習に焦点を当てた干渉処置（例：全パラメータリセット）が、過大評価やプラスティシティといった他の問題に、どの程度影響を与えるか？

主な発見

• レイヤーノーマライゼーションと全パラメータリセットは、価値の過大評価を顕著に低減し、クリティック特化正則化手法を上回った。
• 単純で適切に正則化されたソフトアクタクリティックエージェントが、ドッグドメインタスクを解釈できた。これは、従来はモデルベース手法でのみ解けたタスクであり、一般正則化の強力さを示している。
• クリティック正則化は、特にMetaWorldの操作タスクにおいて、パフォーマンスの低下を引き起こす傾向にあり、高リプレイ環境下では逆効果である可能性がある。
• ネットワーク正則化とプラスティシティ正則化を併用することで、価値の過大評価が効果的に抑制され、多くの場合でクリティック正則化の必要性が不要になった。
• 過学習に焦点を当てた干渉処置（例：全パラメータリセット）は、過大評価やプラスティシティ指標に、それらの問題に特化した手法よりも強い影響を与えた。
• 説明的指標（例：勾配ノルム）とパフォーマンスの相関関係は、同じベンチマーク内でも環境によって顕著に異なり、環境依存のダイナミクスを示している。