[論文レビュー] Understanding plasticity in neural networks

Clare Lyle, Zeyu Zheng+4 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、深層強化学習における可塑性の損失を調査し、飽和ユニットよりも損失の損なわれた曲率が主な要因であると特定している。層正則化などのアーキテクチャ的選択が最適化を安定化させ、可塑性を維持することを示しており、ハイパーパrameterチューニングなしでArcade Learning Environmentにおける性能を著しく向上させている。

ABSTRACT

Plasticity, the ability of a neural network to quickly change its predictions in response to new information, is essential for the adaptability and robustness of deep reinforcement learning systems. Deep neural networks are known to lose plasticity over the course of training even in relatively simple learning problems, but the mechanisms driving this phenomenon are still poorly understood. This paper conducts a systematic empirical analysis into plasticity loss, with the goal of understanding the phenomenon mechanistically in order to guide the future development of targeted solutions. We find that loss of plasticity is deeply connected to changes in the curvature of the loss landscape, but that it often occurs in the absence of saturated units. Based on this insight, we identify a number of parameterization and optimization design choices which enable networks to better preserve plasticity over the course of training. We validate the utility of these findings on larger-scale RL benchmarks in the Arcade Learning Environment.

研究の動機と目的

• 非定常な学習における深層ニューラルネットワークにおける可塑性の損失のメカニズム的要因を理解すること。
• 学習中に可塑性を維持するためのアーキテクチャ的および最適化設計の選択を同定すること。
• Arcade Learning Environmentのような大規模なRLベンチマークでこれらの発見を検証すること。
• 損失の損なわれた曲率の役割を、他の正則化や再初期化技術から分離して分析すること。

提案手法

• 時系列差分学習を用いた価値ベースRLにおける可塑性損失の体系的実験的分析。
• 飽和活性化や勾配の消失といった一般的な仮説を除外するための反証フレームワークの使用。
• ヘッセ行列と勾配共分散構造を用いた損失の損なわれた曲率の分析により、可塑性の劣化と結びつける。
• 層正則化、バッチ正則化、カテゴリカル出力などのアーキテクチャ的要素が可塑性に与える影響の分析。
• 最良の手法（層正則化）を用いて、57種類のAtariゲームにおける標準DQNエージェントに適用し、一般化をテスト。
• 劣化した勾配共分散や悪条件のヘッセ行列を示す環境における性能向上の測定。

実験結果

リサーチクエスチョン

• RQ1 強化学習における非定常な学習の過程で、深層ニューラルネットワークの可塑性の損失を引き起こすメカニズムは何か？
• RQ2 可塑性の損失は、飽和ユニットや勾配の病理的要因に起因するのか、それとも主に損失の損なわれた曲率によって支配されるのか？
• RQ3 正則化層や出力表現といったアーキテクチャ的選択が、可塑性の維持にどのように影響するか？
• RQ4 損失の損なわれた曲率の平滑化と比較して、パラメータの正則化や再初期化手法は、どの程度可塑性を向上させるか？
• RQ5 最適化の損失の損なわれた曲率を安定化させることで、多様なRL環境において一貫した性能向上が得られるか？

主な発見

• 飽和ユニットが存在しない状況でも、損失の損なわれた曲率の増加と可塑性の損失は強く相関している。
• 損失の損なわれた曲率を平滑化するアーキテクチャ的要素、特に層正則化が、可塑性の向上において最も顕著な効果を示している。
• 層正則化は、ハイパーパrameterチューニングなしで、Arcade Learning Environmentの57種類のAtariゲームにおける性能を向上させた。
• 層正則化による性能向上は、劣化した勾配共分散や悪条件のヘッセ行列を示す環境で特に顕著である。
• パラメータを摂動させたり正則化を適用する手法は、最適化の損失の損なわれた曲率を安定化させるアーキテクチャ的設計に比べて、恩恵が小さい。
• これらの発見は、損失の損なわれた曲率の制御と最適化器の安定性の向上が、標準的な再初期化や蒸留技術よりも、より効果的なロバストなRLへの道筋である可能性を示唆している。