[논문 리뷰] Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods

Peter Henderson, Joshua Romoff외 1명|arXiv (Cornell University)|2018. 10. 05.

Reinforcement Learning in Robotics참고 문헌 11인용 수 16

한 줄 요약

이 논문은 연속 제어 작업에서 정책 기반 강화 학습에 적용되는 다양한 경사 하강 최적화 방법과 그 하이퍼파rameter의 영향을 경험적으로 조사한다. 적응형 최적화 방법인 Adam과 같은 방법들은 좁은 효과적인 학습률 범위를 가지며 쉽게 발산함을 발견하였고, 모멘텀의 효과는 환경의 동역학에 크게 의존함을 확인하였다. 이는 병렬 학습에서 유도되는 암묵적 모멘텀이 딥 강화 학습에서 최적화 방법의 거동을 복잡하게 만든다는 것을 시사한다.

ABSTRACT

Recent analyses of certain gradient descent optimization methods have shown that performance can degrade in some settings - such as with stochasticity or implicit momentum. In deep reinforcement learning (Deep RL), such optimization methods are often used for training neural networks via the temporal difference error or policy gradient. As an agent improves over time, the optimization target changes and thus the loss landscape (and local optima) change. Due to the failure modes of those methods, the ideal choice of optimizer for Deep RL remains unclear. As such, we provide an empirical analysis of the effects that a wide range of gradient descent optimizers and their hyperparameters have on policy gradient methods, a subset of Deep RL algorithms, for benchmark continuous control tasks. We find that adaptive optimizers have a narrow window of effective learning rates, diverging in other cases, and that the effectiveness of momentum varies depending on the properties of the environment. Our analysis suggests that there is significant interplay between the dynamics of the environment and Deep RL algorithm properties which aren't necessarily accounted for by traditional adaptive gradient methods. We provide suggestions for optimal settings of current methods and further lines of research based on our findings.

연구 동기 및 목표

• 딥 강화 학습에서 다양한 경사 하강 최적화 방법이 정책 기반 강화 학습 성능에 미치는 영향을 조사하는 것.
• 학습률과 모멘텀 하이퍼파rameter가 정책 기반 강화 학습 최적화에 미치는 역할을 분석하는 것.
• Adaptive 최적화 방법(예: Adam, RMSProp)이 비정상적이고 비독립적 동일분포(Non-iid) 강화 학습 환경에서 실패하는 방식을 규명하는 것.
• 동시 다중 워커 학습 환경에서 암묵적 모멘텀의 존재와 최적화 안정성에 미치는 영향을 탐구하는 것.
• PPO 및 A2C 알고리즘에서 최적화 방법 선택과 하이퍼파rameter 튜닝을 위한 실용적 권고를 제공하는 것.

제안 방법

• 연속 제어 벤치마크에서 PPO 및 A2C 알고리즘에 대해 11종류의 경사 하강 최적화 방법(SGD, Adam, RMSProp, Adamax, AMSGrad 등)을 경험적으로 평가한다.
• Ant, HalfCheetah, Hopper, Reacher, Walker2d 등 여러 환경에서 학습률과 모멘텀 값을 변화시켜 분석한다.
• 워커 수 대 스텝 수 비율을 변화시켜 동기화된 다중 워커 학습 환경을 구성하여 암묵적 모멘텀 효과를 탐구한다.
• 크로스-환경 비교를 가능하게 하기 위해 무작위 에이전트 기준 성능을 정규화한다.
• 10개의 무작위 시드를 사용해 학습 곡선과 수익을 분석하여 안정성과 분산을 평가한다.
• 평균 수익과 표준편차로 결과를 보고하며, 상대적 성과를 시각화하기 위해 정규화된 성능 플롯을 제공한다.

실험 결과

연구 질문

• RQ1 PPO 및 A2C에서 표준 연속 제어 환경에서 다양한 적응형 최적화 방법의 성능은 어떻게 되는가?
• RQ2 정책 기반 학습에서 Adam 및 RMSProp과 같은 적응형 최적화 방법의 최적 학습률 범위는 무엇인가?
• RQ3 모멘텀은 학습 성능에 어떤 영향을 미치며, 그 효과는 다양한 환경에서 어떻게 다를까?
• RQ4 다중 워커 동기화 학습 환경에서 얼마나 암묵적 모멘트럼이 유도되어 최적화 안정성에 영향을 미치는가?
• RQ5 기존의 적응형 경사 하강 방법은 딥 강화 학습에서 신뢰성 있게 적용될 수 있는가, 아니면 동적 손실 표면과 지연된 기울기로 인해 실패하는가?

주요 결과

• Adaptive 최적화 방법(예: Adam, RMSProp)은 좁은 효과적인 학습률 범위를 가지며, 이 범위를 벗어나면 자주 발산한다.
• 모멘텀 기반 최적화 방법(예: Nesterov 모멘텀이 있는 SGD)은 환경 간 성능 격차가 크며, 최적의 값은 작업의 동역학에 따라 달라진다.
• 동기화 학습에서 워커 수 대 스텝 수 비율이 높을수록 암묵적 모멘텀을 시사하는 노이즈가 많은 추세가 나타나며, 일부 환경에서는 낮은 모멘텀 값에서 유리하다.
• 최고의 성능을 보이는 설정은 종종 고병렬 환경에서 낮은 모멘텀(예: 0.11–0.33)을 포함하며, 이는 샘플링 편향으로 인한 암묵적 모멘텀이 최적화에 영향을 준다는 것을 시사한다.
• PPO에 SGD와 낮은 모멘텀(0.11–0.33)을 적용한 경우 10개 환경 중 8개에서 가장 높은 정규화된 수익을 기록하였으며, 특히 고워커 환경에서 두드러졌다.
• Adam과 높은 모멘텀(0.99)을 사용할 경우 성능이 뚜렷이 악화되며, 일부 경우(예: 32명의 워커에서 Walker2d에서 171 vs. 209)에서는 랜덤 기준 수익 이하로 떨어지기도 한다.