[논문 리뷰] Rethinking Plasticity in Deep Reinforcement Learning

Zhiqiang He|arXiv (Cornell University)|2026. 03. 22.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

이 논문은 Optimization-Centric Plasticity (OCP) 가설을 제시하여 심층 RL에서 가소성 손실을 설명하고, 휴면을 0 기울과 연결하며, 태스크 특이성과 매개변수 제약의 이점을 보여준다.

ABSTRACT

This paper investigates the fundamental mechanisms driving plasticity loss in deep reinforcement learning (RL), a critical challenge where neural networks lose their ability to adapt to non-stationary environments. While existing research often relies on descriptive metrics like dormant neurons or effective rank, these summaries fail to explain the underlying optimization dynamics. We propose the Optimization-Centric Plasticity (OCP) hypothesis, which posits that plasticity loss arises because optimal points from previous tasks become poor local optima for new tasks, trapping parameters during task transitions and hindering subsequent learning. We theoretically establish the equivalence between neuron dormancy and zero-gradient states, demonstrating that the absence of gradient signals is the primary driver of dormancy. Our experiments reveal that plasticity loss is highly task-specific; notably, networks with high dormancy rates in one task can achieve performance parity with randomly initialized networks when switched to a significantly different task, suggesting that the network's capacity remains intact but is inhibited by the specific optimization landscape. Furthermore, our hypothesis elucidates why parameter constraints mitigate plasticity loss by preventing deep entrenchment in local optima. Validated across diverse non-stationary scenarios, our findings provide a rigorous optimization-based framework for understanding and restoring network plasticity in complex RL domains.

연구 동기 및 목표

• Optimization-Centric Plasticity (OCP) 가설을 도입하여 심층 RL에서의 가소성 손실을 설명한다.
• 이전 태스크의 최적점이 새로운 태스크에 대해 보차적으로 비최적이 되어 매개변수를 국부 최적점에 갇히게 한다는 것을 보인다.
• 뉴런의 휴면을 0-기울 상태와 이론적으로 연결한다.
• 가소성 손실이 태스크에 매우 특이적이며 최적화 지형 관계에 의해 조절됨을 보여준다.

제안 방법

• 휴먼하니리다이아그라프를 드리프트로서의 휴면으로 정의하고 휴면 뉴런과 0 기울 사이의 동등성을 증명한다.
• 뉴런 활성도와 기울기를 정량화하기 위해 휴면 지수와 MAGI를 정의하고 분석한다.
• 태스크 전이에서 PPO를 사용한 통제된 실험으로 국부 최적점의 고착과 태스크 변경 시 각성 해제를 설명한다.
• 매개변수 제약이 초기의 국부 최적점 고착을 제한함으로써 가소성 손실을 완화한다는 주장을 한다.
• 휴면, 0 기울, 및 일정한 뉴런 출력과의 연결에 관한 이론 보조정리와 정리를 제공한다.

실험 결과

연구 질문

• RQ1 태스크 전이 중 심층 RL에서 가소성 손실을 유발하는 메커니즘은 무엇인가?
• RQ2 뉴런 휴면과 0-기울 상태가 이론적으로 및 경험적으로 어떻게 연관되는가?
• RQ3 태스크 간의 관계와 최적화 지형이 가소성 손실과 학습 적응성에 어떻게 영향을 미치는가?
• RQ4 매개변수 제약이 국부 최적점 고착을 억제하여 가소성을 보존할 수 있는가?
• RQ5 가소성 손실은 일반적인 데이터 이슈라기보다 태스크에 매우 특이적인가?

주요 결과

• 가소성 손실은 이전 태스크의 국부 최적점에 매개변수가 갇혀 새로운 태스크 학습을 방해하는 것으로 설명된다.
• 휴면 뉴런은 0 출력 및 0-기울 조건에 대응하며, 업데이트 전반에서 휴면을 강화한다.
• 목표를 급격히 바꾸는 태스크 변화는 휴면을 감소시켜 임의 초기화와 유사한 학습을 가능하게 한다.
• 새로운 태스크가 충분히 다른 경우 높은 휴면도 반드시 낮은 적응력을 의미하지 않으며, 태스크 변경 시 네트워크가 회복할 수 있다.
• 제약된 매개변수 공간은 국부 최적점에 깊이 고착되는 것을 방지하여 가소성 손실을 완화할 수 있다.
• 기울기 없는 최적화 접근법은 가소성 손실을 줄이고 적응 속도와 최종 성능을 개선할 수 있다。