[논문 리뷰] Regularization Matters in Policy Optimization - An Empirical Study on Continuous Control

Zhuang Liu, Xuanlin Li외 2명|arXiv (Cornell University)|2019. 10. 21.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 연속 제어를 위한 딥 강화 학습에서 전통적인 정규화 기법(예: L2, 드롭아웃)을 정책 네트워크에 적용하는 데 대한 최초의 종합적인 실증 연구를 제시한다. 연구 결과, 정책 네트워크에 정규화를 적용하면 특히 어려운 작업에서 성능 향상이 뚜렷하게 향상되며, 샘플 효율성, 보상 분포, 가중치 노름 제어, 노이즈 내성 등 다양한 측면을 통해 정규화가 일반화 능력을 향상시키는 이유를 밝혀낸다.

ABSTRACT

Deep Reinforcement Learning (Deep RL) has been receiving increasingly more attention thanks to its encouraging performance on a variety of control tasks. Yet, conventional regularization techniques in training neural networks (e.g., $L_2$ regularization, dropout) have been largely ignored in RL methods, possibly because agents are typically trained and evaluated in the same environment, and because the deep RL community focuses more on high-level algorithm designs. In this work, we present the first comprehensive study of regularization techniques with multiple policy optimization algorithms on continuous control tasks. Interestingly, we find conventional regularization techniques on the policy networks can often bring large improvement, especially on harder tasks. Our findings are shown to be robust against training hyperparameter variations. We also compare these techniques with the more widely used entropy regularization. In addition, we study regularizing different components and find that only regularizing the policy network is typically the best. We further analyze why regularization may help generalization in RL from four perspectives - sample complexity, reward distribution, weight norm, and noise robustness. We hope our study provides guidance for future practices in regularizing policy optimization algorithms. Our code is available at this https URL .

연구 동기 및 목표

• 딥 강화 학습의 정책 최적화에 전통적인 정규화 기법(예: L2, 드롭아웃)이 미치는 영향을 조사하는 것.
• 정규화가 연속 제어 작업에서 일반화 능력과 샘플 효율성 향상에 기여하는지 확인하는 것.
• 강화 학습에서 널리 사용되는 엔트로피 정규화와 비교하여 전통적 정규화 기법의 효과성을 평가하는 것.
• 정책 네트워크의 어떤 구성 요소가 정규화에서 가장 큰 이점을 얻는지 분석하는 것.
• 정규화가 딥 강화 학습에서 성능 향상에 기여하는 근본적인 이유를 다양한 이론적 관점에서 이해하는 것.

제안 방법

• 여러 개의 연속 제어 환경에서 정책 네트워크에 대해 L2 가중치 감쇠, 드롭아웃, 배치 정규화 등의 정규화 기법을 실증적으로 평가한다.
• 정책 네트워크의 다양한 구성 요소(예: 액터 헤드, 가치 헤드, 공유 특징)에 정규화를 적용하고 성능을 비교한다.
• 표준 정책 최적화 알고리즘(SAC, TD3 등)을 사용하고 하이퍼파라미터를 다양하게 조정하여 정규화 효과의 탄력성을 테스트한다.
• 샘플 복잡도, 보상 분포 이탈, 가중치 노름 제어, 노이즈 내성의 네 가지 이론적 시각에서 정규화의 영향을 분석한다.
• 정규화가 정책 네트워크에서 기여하는 바를 다른 구성 요소와 분리하여 분석하기 위한 아블레이션 스터디를 수행한다.
• 재현성과 정책 최적화에서의 정규화 벤치마킹을 위한 코드를 공개한다.

실험 결과

연구 질문

• RQ1 정책 네트워크에 전통적인 정규화 기법(예: L2, 드롭아웃)을 적용하면 연속 제어 작업에서 성능 향상이 발생하는가?
• RQ2 정책 최적화에서 전통적 정규화 기법은 엔트로피 정규화보다 효과가 높은가?
• RQ3 정책 네트워크의 어떤 구성 요소(예: 정책 헤드, 가치 헤드)가 정규화에서 가장 큰 이점을 얻는가?
• RQ4 정규화의 이점은 다양한 하이퍼파라미터 설정과 환경 간에 탄탄한가?
• RQ5 정규화가 딥 강화 학습에서 일반화 능력을 향상시키는 근본적인 이유는 무엇인가?

주요 결과

• L2 및 드롭아웃과 같은 전통적 정규화 기법은 특히 어려운 환경에서 연속 제어 작업에서 일관되게 성능 향상을 이룬다.
• 가장 좋은 성능은 정책 네트워크만 정규화했을 때 얻어지며, 가치 네트워크나 공유 특징 레이어를 정규화하는 것보다 성능이 뛰어나다.
• 정규화 효과는 다양한 하이퍼파라미터 설정 간에 탄탄하므로 광범위한 적용 가능성을 보인다.
• 정규화는 보상 분포를 안정화하고 가중치 노름을 제어함으로써 과적합을 줄이고 일반화 능력을 향상시킨다.
• 정규화의 이점은 노이즈 내성 향상과 입력 편향에 대한 민감도 감소 덕분에 부분적으로 기인한다.
• 이 연구는 정규화가 샘플 효율성을 향상시키고 학습 동역학의 분산을 줄일 수 있음을 입증한다.