[논문 리뷰] Understanding plasticity in neural networks

Clare Lyle, Zeyu Zheng외 4명|arXiv (Cornell University)|2023. 03. 02.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 딥 강화학습에서의 유연성 손실을 조사하며, 포화된 유닛이 아니라 손실 경로의 곡률이 주요 원인임을 규명한다. 아키텍처 선택 사항인 레이어 정규화가 최적화를 안정화시키고 유연성을 유지함으로써, 초모수 조정 없이도 아케이드 학습 환경에서 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Plasticity, the ability of a neural network to quickly change its predictions in response to new information, is essential for the adaptability and robustness of deep reinforcement learning systems. Deep neural networks are known to lose plasticity over the course of training even in relatively simple learning problems, but the mechanisms driving this phenomenon are still poorly understood. This paper conducts a systematic empirical analysis into plasticity loss, with the goal of understanding the phenomenon mechanistically in order to guide the future development of targeted solutions. We find that loss of plasticity is deeply connected to changes in the curvature of the loss landscape, but that it often occurs in the absence of saturated units. Based on this insight, we identify a number of parameterization and optimization design choices which enable networks to better preserve plasticity over the course of training. We validate the utility of these findings on larger-scale RL benchmarks in the Arcade Learning Environment.

연구 동기 및 목표

• 비정상적인 훈련 중 딥 신경망에서의 유연성 손실의 기계적 원인을 이해하기 위해.
• 훈련 전반에 걸쳐 유연성을 유지하는 데 기여하는 아키텍처 및 최적화 설계 선택 사항을 규명하기 위해.
• 아케이드 학습 환경과 같은 대규모 강화학습 벤치마크에서 이러한 발견을 검증하기 위해.
• 손실 경로의 매끄러움과 다른 정규화 및 재초기화 기법들의 역할을 분리하기 위해.

제안 방법

• 시간 차분 학습을 사용한 가치 기반 강화학습에서의 유연성 손실에 대한 체계적인 경험 분석을 수행하기 위해.
• 일반적인 유연성 손실에 대한 가설(예: 포화된 활성화 또는 기울기 소실)을 배제하기 위해 가짜 검증 프레임워크를 사용하기 위해.
• 손실 경로의 곡률을 헤시안과 기울기 공분산 구조를 분석함으로써 유연성 열화와 연결하기 위해.
• 레이어 정규화, 배치 정규화, 카테고리형 출력과 같은 아키텍처 구성 요소가 유연성에 미치는 영향을 분석하기 위해.
• 표준 DQN 에이전트에 최고 성능을 보인 방법(레이어 정규화)을 적용하여 57개의 아케이드 게임에서 일반화 성능을 테스트하기 위해.
• 열악한 기울기 공분산 또는 악조건의 헤시안을 가진 환경에서의 성능 향상 측정하기 위해.

실험 결과

연구 질문

• RQ1 강화학습에서 비정상적인 훈련 중 딥 신경망에서의 유연성 손실을 이끄는 메커니즘은 무엇인가?
• RQ2 유연성 손실은 포화된 유닛이나 기울기 병리에 기인하는가, 아니면 주로 손실 경로 곡률에 의해 지배되는가?
• RQ3 정규화 레이어와 출력 표현과 같은 아키텍처 선택 사항이 유연성 유지에 어떤 영향을 미치는가?
• RQ4 손실 경로의 매끄러움과 비교할 때, 매개변수 정규화나 재초기화 방법이 얼마나 유연성 향상에 기여하는가?
• RQ5 최적화 경로를 안정화시키는 것이 다양한 강화학습 환경에서 일관된 성능 향상으로 이어지는가?

주요 결과

• 포화된 유닛이 없더라도 손실 경로의 곡률 증가와 함께 유연성 손실이 강하게 상관됨을 확인함.
• 특히 레이어 정규화와 같이 손실 경로를 매끄럽게 만드는 아키텍처 구성 요소가 가장 뚜렷한 유연성 향상 효과를 보임.
• 레이어 정규화는 아케이드 학습 환경의 57개 아케이드 게임에서 초모수 조정 없이도 성능 향상을 이룸.
• 레이어 정규화의 성능 향상 효과는 기울기 공분산이 열악하거나 헤시안이 악조건인 환경에서 가장 두드러짐.
• 매개변수를 변형하거나 정규화를 적용하는 방법은 최적화 경로를 안정화시키는 아키텍처 설계 선택에 비해 더 적은 이점을 보임.
• 손실 경로의 날카움과 최적화기 안정성을 제어하는 것이 표준 재초기화나 디스틸레이션 기법보다 더 효과적인 강화학습의 강건성 확보 방법임을 시사함.