[논문 리뷰] Loss of Plasticity in Continual Deep Reinforcement Learning

Zaheer Abbas, Rosie Zhao외 3명|arXiv (Cornell University)|2023. 03. 13.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 순차적인 Atari 2600 게임에서 지속적인 훈련을 수행하는 딥 강화학습 에이전트에서 발생하는 파라미터 유연성의 급격한 손실을 규명하고 분석한다. 이는 활성화 희박성으로 인해 기울기 업데이트 능력이 떨어지기 때문이다. 본 논문은 간단하면서도 효과적인 대안으로 연결된 ReLU(Concatenated ReLUs, CReLUs)를 제안하여 기울기 흐름을 복원하고 비정상적인 환경에서도 지속적인 학습을 가능하게 한다.

ABSTRACT

The ability to learn continually is essential in a complex and changing world. In this paper, we characterize the behavior of canonical value-based deep reinforcement learning (RL) approaches under varying degrees of non-stationarity. In particular, we demonstrate that deep RL agents lose their ability to learn good policies when they cycle through a sequence of Atari 2600 games. This phenomenon is alluded to in prior work under various guises -- e.g., loss of plasticity, implicit under-parameterization, primacy bias, and capacity loss. We investigate this phenomenon closely at scale and analyze how the weights, gradients, and activations change over time in several experiments with varying dimensions (e.g., similarity between games, number of games, number of frames per game), with some experiments spanning 50 days and 2 billion environment interactions. Our analysis shows that the activation footprint of the network becomes sparser, contributing to the diminishing gradients. We investigate a remarkably simple mitigation strategy -- Concatenated ReLUs (CReLUs) activation function -- and demonstrate its effectiveness in facilitating continual learning in a changing environment.

연구 동기 및 목표

• 표준적인 딥 강화학습 에이전트인 Rainbow가 비정상적인 환경에서 지속적인 학습 설정에서 실패하는 이유를 조사하기 위해.
• 장기적인 순차적 Atari 게임 훈련 중에 발생하는 유연성 손실의 근본 원인인 가중치, 기울기, 활성화 동역학의 구조적 메커니즘을 분석하기 위해.
• 분포 변화와 메모리 제약 조건이 존재하는 지속적인 강화학습 환경에서 아키텍처 수정이 학습 능력을 복원할 수 있는지 평가하기 위해.
• CReLUs가 활성화 희박성을 완화하고 기울기 흐름을 복원하여 반복적인 게임 방문 동안 지속적인 정책 개선을 가능하게 함을 입증하기 위해.

제안 방법

• 20억 개의 환경 상호작용과 50일에 걸친 훈련 동안, 리셋 없이 5~10개의 Atari 2600 게임을 순차적으로 훈련한 Rainbow DQN 에이전트를 학습시켰다.
• 지속적인 훈련 중에 각 레이어에서 네트워크 가중치, 기울기 노름(ℓ₂, ℓ₁, ℓ₀), 활성화 희박성(ℓ₀ 노름)의 변화를 모니터링하고 분석하였다.
• 표준 ReLU 활성화 함수와 비교하여, 활성화 다양성을 유지하고 붕괴를 방지하기 위해 두 개의 병렬 ReLU 유닛을 사용하는 연결된 ReLU(CReLUs)를 사용하였다.
• 성능 상한선를 확보하기 위해, 각 게임당 2억 프레임의 중단 없는 단일 게임 훈련을 기준선으로 설정하였다.
• 기억 상실, 최초 접촉 효과, 유연성 손실를 탐지하기 위해 반복적인 게임 방문 동안의 성능을 평가하였다.
• 학습 저하와 네트워크의 구조적 행동 간의 연관성을 규명하기 위해 기울기 흐름과 활성화 무늬 변화를 분석하였다.

Figure 1: Continual learning and the loss of plasticity in an Atari game: online performance of a Rainbow agent (in blue) within a single game (Alien) when repeatedly playing a sequence of games. Starting with Alien, the agent plays a sequence of 10 games, training on each game for 20M consecutive f

실험 결과

연구 질문

• RQ1 표준적인 딥 강화학습 에이전트인 Rainbow가 비정상적인 Atari 게임의 순차적 시퀀스에서 지속적으로 훈련될 경우, 얼마나 심각하게 유연성 손실을 겪는가?
• RQ2 분포 변화가 존재하는 지속적인 학습 환경에서, 가중치 업데이트, 기울기 노름, 활성화 희박성은 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 CReLUs와 같은 아키텍처 수정이 표준 ReLU 기반 에이전트에서 관찰된 유연성 손실을 완화하거나 역전할 수 있는가?
• RQ4 CReLU 활성화 함수가 반복적인 게임 방문 동안 의미 있는 정책 개선을 가능하게 하기 위해 충분한 기울기 흐름을 복원하는가?
• RQ5 CReLUs를 사용한 지속적 에이전트의 성능은 각 게임에서 처음부터 훈련한 비지속적 에이전트와 비교해 어떻게 되는가?

주요 결과

• 순차적인 Atari 게임에서 훈련된 Rainbow 에이전트는 재방문 시 성능이 악화되며, 지식을 학습하거나 유지하지 못함을 보여, 파라미터 유연성의 급격한 손실을 겪는다.
• 시간이 지남에 따라 활성화 희박성이 크게 증가하여, 네트워크 유닛 중 극히 소수만 비영 활성화 상태를 유지하며, 이로 인해 기울기 흐름이 감소하고 학습 능력이 떨어진다.
• CReLUs의 사용은 활성화 희박성을 효과적으로 완화하고 기울기 노름을 복원하여 반복적인 게임 방문 동안 지속적인 학습을 가능하게 한다.
• CReLUs가 유연성 향상에 기여함에도 불구하고, 지속적 에이전트는 각 게임에서 처음부터 훈련한 비지속적 에이전트의 성능을 따라잡지 못하며, 여전히 치명적인 간섭이 존재함을 시사한다.
• 지속적 CReLU 에이전트와 비지속적 기준선 간의 성능 격차는 반복적인 게임 방문 수가 증가함에 따라 커지며, 특히 Atlantis와 Boxing와 같은 게임에서 뚜렷한 기억 상실 현상이 나타난다.
• 유연성 손실 현상은 단지 데이터 분포 변화 때문이 아니라, 네트워크의 구조적 변화—특히 활성화 붕괴와 기울기 억제—과 연관되어 있음을 규명하였다.

Figure 2: Rainbow’s loss of plasticity on a repeating sequence of 5 Atari 2600 games. Each subplot reports learning within a single game. The blue curves show Rainbow learning as it cycles through 5 games in a fixed sequence. The agent interacts with each game for 20M frames in every iteration of th