[논문 리뷰] Spectral Normalisation for Deep Reinforcement Learning: an Optimisation Perspective

Florin Gogianu, Tudor Berariu외 4명|arXiv (Cornell University)|2021. 05. 11.

Reinforcement Learning in Robotics참고 문헌 47인용 수 8

한 줄 요약

이 논문은 스펙트럴 정규화(SN)가 강화학습의 목표 함수를 수정하지 않고도, 가치함수 추정기의 최적화 역학을 안정화시킴으로써 딥 강화학습 성능을 크게 향상시킨다는 것을 보여준다. 단일 네트워크 레이어의 리프시츠 상수를 SN을 통해 제약함으로써, Categorical-DQN 에이전트는 아타리 게임에서 복잡한 레인보우 에이전트와 유사한 성능을 달성했으며, 하이퍼파라미터 민감도가 감소하고 Adam 기반 학습의 안정성이 향상되었다.

ABSTRACT

Most of the recent deep reinforcement learning advances take an RL-centric perspective and focus on refinements of the training objective. We diverge from this view and show we can recover the performance of these developments not by changing the objective, but by regularising the value-function estimator. Constraining the Lipschitz constant of a single layer using spectral normalisation is sufficient to elevate the performance of a Categorical-DQN agent to that of a more elaborated ainbow{} agent on the challenging Atari domain. We conduct ablation studies to disentangle the various effects normalisation has on the learning dynamics and show that is sufficient to modulate the parameter updates to recover most of the performance of spectral normalisation. These findings hint towards the need to also focus on the neural component and its learning dynamics to tackle the peculiarities of Deep Reinforcement Learning.

연구 동기 및 목표

• 딥 강화학습에서 신경망 최적화 동역학의 정규화가 알고리즘적 진전과 견줄 수 있는가를 조사하는 것.
• 스펙트럴 정규화(SN)가 비.i.i.d. 및 비정적 데이터 환경에서 DRL의 학습 안정성과 성능 향상에 기여하는 역할을 평가하는 것.
• SN의 영향을 분리하여, 특히 부드러움 정규화와 최적화 동역학 조절이 학습 성능에 미치는 영향을 분석하는 것.
• 특히 도전적인 DRL 환경에서 Adam 기반 학습의 하이퍼파라미터 민감도를 줄이기 위해 SN을 적용하는 것.
• SN의 성능 향상이 주로 기능의 부드러움이 아닌 최적화 효과에서 기인한다는 것을 입증하는 것.

제안 방법

• 값 함수 추정기의 리프시츠 상수를 제약하기 위해, C51 DQN 에이전트의 단일 완전연결 레이어에 스펙트럴 정규화를 적용한다.
• 이 방법은 가중치 행렬의 스펙트럴 노름을 사용하여 역전파 동안 매개변수를 재스케일링함으로써, 크기와 방향을 분리한다.
• 제거 실험에서는 스펙트럴 스케줄러와 같은 대체 정규화 전략을 비교하며, 기울기 또는 출력 통계 기반으로 동적으로 정규화를 조정하는 방법을 포함한다.
• 실험은 표준 평가 프로토콜을 사용하여 아타리 ALE 벤치마크에서 수행되며, 500K 프레임 동안 매 250K 스텝마다 검증을 실시한다.
• 하이퍼파라미터 스윕은 Adam과 RMSProp을 포함한 다양한 최적화기에서 SN이 있는지 여부를 비교하여 성능와 강건성을 평가한다.
• 저자들은 SN의 영향을 직접적으로 구현하지 않고도 유사한 효과를 낼 수 있는 스펙트럴 스케줄러(divOut, mulEps, divGrad)를 도입하고 평가하며, 최적화 효과를 고립한다.

실험 결과

연구 질문

• RQ1 스펙트럴 정규화가 RL 목표 함수를 수정하지 않고도, 신경망 최적화 동역학을 정규화함으로써 DRL 성능을 향상시킬 수 있는가?
• RQ2 SN의 성능 향상이 주로 기능의 부드러움 향상 때문인지, 아니면 매개변수 갱신 동역학의 변화 때문인지?
• RQ3 SN은 Adam 기반 학습의 하이퍼파라미터 선택 민감도를 감소시키는가?
• RQ4 함수의 표현 방식을 변경하지 않고도, 매개변수 갱신 방식만 조절함으로써 SN의 성능를 재현할 수 있는가?
• RQ5 다양한 네트워크 아키텍처에서 스펙트럴 정규화 전략(예: divOut, mulEps) 간의 수렴성과 최종 성능를 비교하면 어떻게 되는가?

주요 결과

• C51 DQN 에이전트의 단일 완전연결 레이어에 스펙트럴 정규화를 적용한 결과, 54종의 아타리 게임에서 평균 인간 정규화 점수(HNS)가 719.95로 나타나, 전체 레인보우 에이전트와 동등한 성능를 달성했다.
• 제거 실험을 통해 SN의 성능 향상이 주로 최적화 동역학 향상에서 기인함을 입증하였으며, 매개변수 갱신 조절만으로도 SN의 대부분의 성능 향상을 재현할 수 있었다.
• 스펙트럴 정규화는 Adam의 사용 가능한 하이퍼파라미터 범위를 넓혀주며, 민감도를 감소시키고 다양한 설정에서 안정적인 학습을 가능하게 하였다.
• DQN-Adam 기반 학습에서 SN 적용으로 평균 HNS가 358.45에서 719.95로 증가하여 성능이 거의 두 배로 향상되었으며, DQN-RMSProp 기반 학습에서는 성능 향상이 미미하여 최적화기 간 상호작용 효과가 있음을 시사했다.
• 스펙트럴 스케줄러 divOut은 평균 성능과 개별 케이스 결과 모두에서 SN과 유사한 행동을 보였으며, 핵심 이점이 갱신 조절에 있음을 시사했다.
• 최종 레이어 이전의 특징의 유효 질량은 SN 하에서도 안정적으로 유지되었으며, 이는 SN이 네트워크의 표현 능력을 유지하면서도 최적화를 향상시킨다는 것을 의미한다.