[論文レビュー] Loss of Plasticity in Continual Deep Reinforcement Learning

Zaheer Abbas, Rosie Zhao+3 more|arXiv (Cornell University)|Mar 13, 2023

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、連続的なAtari 2600ゲームの学習において、勾配更新能力が活性化スパarsityのため失われるという、深層強化学習エージェントにおける深刻な学習の柔軟性の喪失を特定し、分析している。本研究では、勾配の流れを回復させ、非定常環境における持続的な学習を可能にするために、単純だが効果的な対策として連結ReLU（CReLUs）を提案している。

ABSTRACT

The ability to learn continually is essential in a complex and changing world. In this paper, we characterize the behavior of canonical value-based deep reinforcement learning (RL) approaches under varying degrees of non-stationarity. In particular, we demonstrate that deep RL agents lose their ability to learn good policies when they cycle through a sequence of Atari 2600 games. This phenomenon is alluded to in prior work under various guises -- e.g., loss of plasticity, implicit under-parameterization, primacy bias, and capacity loss. We investigate this phenomenon closely at scale and analyze how the weights, gradients, and activations change over time in several experiments with varying dimensions (e.g., similarity between games, number of games, number of frames per game), with some experiments spanning 50 days and 2 billion environment interactions. Our analysis shows that the activation footprint of the network becomes sparser, contributing to the diminishing gradients. We investigate a remarkably simple mitigation strategy -- Concatenated ReLUs (CReLUs) activation function -- and demonstrate its effectiveness in facilitating continual learning in a changing environment.

研究の動機と目的

• 非定常環境における連続的学習設定で、標準的な深層強化学習エージェント（例：Rainbow）がなぜ失敗するのかを調査すること。
• 長期間にわたる順次Atariゲームの学習における、学習の柔軟性の喪失を引き起こす根本的メカニズム（特に重み、勾配、活性化のダイナミクス）を分析すること。
• 分布シフトとメモリ制約が存在する中で、アーキテクチャの変更が連続的強化学習における学習能力の回復に寄与するかどうかを評価すること。
• CReLUsが活性化スパarsityを軽減し、勾配の流れを回復させることで、繰り返し同じゲームに再訪問した場合でも持続的な方策の改善が可能になることを実証すること。

提案手法

• 20億回の環境インタラクションにわたって、リセットなしで5〜10種類のAtari 2600ゲームの順序付きシーケンスに対してRainbow DQNエージェントを学習させた。50日間にわたる継続的学習を実施した。
• 継続的学習中に、層ごとの重みの変化、勾配ノルム（ℓ₂、ℓ₁、ℓ₀）、活性化スパarsity（ℓ₀ノルム）の変化をモニタリングし、分析した。
• 標準的なReLU活性化関数と比較して、2つの並列ReLUユニットを用いることで活性化の多様性を維持し、崩壊を防ぐCReLUs（連結ReLU）を用いた。
• 比較のためのベースラインとして、1ゲームあたり2億フレームの中断なし単一ゲーム学習（200Mフレーム）を実施し、性能の上限を設定した。
• 繰り返し同じゲームに再訪問した際の性能を評価し、忘れの発生、プライマシーバイアス、学習の柔軟性の喪失を検出するための評価を実施した。
• 勾配の流れと活性化フットプリントの変化を分析することで、構造的ネットワーク挙動と学習の劣化の関連性を特定した。

Figure 1: Continual learning and the loss of plasticity in an Atari game: online performance of a Rainbow agent (in blue) within a single game (Alien) when repeatedly playing a sequence of games. Starting with Alien, the agent plays a sequence of 10 games, training on each game for 20M consecutive f

実験結果

リサーチクエスチョン

• RQ1 標準的な深層強化学習エージェント（例：Rainbow）が、非定常なAtariゲームのシーケンスに対して連続的に学習させた場合、どの程度学習の柔軟性を失うのか？
• RQ2 分布シフトを伴う連続的学習設定において、重みの更新、勾配ノルム、活性化スパarsityは時間経過とともにどのように変化するのか？
• RQ3 CReLUsのようなアーキテクチャの変更が、標準的なReLUベースのエージェントで観察される学習の柔軟性の喪失を逆転または緩和できるか？
• RQ4 CReLU活性化関数が十分な勾配の流れを回復させ、繰り返し同じゲームに再訪問した場合でも意味のある方策の改善を可能にするか？
• RQ5 CReLUsを用いた連続的エージェントの性能は、各ゲームに対してからだの学習から始められた非連続的エージェントと比べてどうなるか？

主な発見

• 順次Atariゲームに対して学習させたRainbowエージェントは、深刻な学習の柔軟性の喪失を示し、同じゲームを繰り返し訪問するたびに性能が低下しており、知識の習得や保持に失敗していることが示された。
• 時間の経過とともに活性化スパarsityが顕著に増加し、ネットワークユニットの僅かな部分しか非ゼロ活性化を出力しなくなるため、勾配の流れが減少し、学習能力が著しく低下した。
• CReLUsの導入により、活性化スパarsityが効果的に軽減され、勾配ノルムが回復し、繰り返し同じゲームに再訪問した場合でも持続的な学習が可能になった。
• CReLUsにより学習の柔軟性が改善されたものの、非連続的エージェント（各ゲームに対してからだの学習から始めたもの）の性能にはまだ追いついておらず、依然として深刻な干渉（catastrophic interference）の問題が残っていることが示された。
• CReLUsを用いた連続的エージェントと非連続的ベースラインとの性能差は、繰り返しのゲーム訪問が進むにつれて広がり、特に『Atlantis』や『Boxing』のようなゲームでは、恒久的な忘れの兆候が顕著に見られた。
• 学習の柔軟性の喪失は、単にデータ分布のシフトによるものではなく、ネットワークの構造的変化（特に活性化の崩壊と勾配の抑制）に起因していることが判明した。

Figure 2: Rainbow’s loss of plasticity on a repeating sequence of 5 Atari 2600 games. Each subplot reports learning within a single game. The blue curves show Rainbow learning as it cycles through 5 games in a fixed sequence. The agent interacts with each game for 20M frames in every iteration of th