[논문 리뷰] Reinforcement Learning for Learning Rate Control

Chang Xu, Tao Qin외 2명|arXiv (Cornell University)|2017. 05. 31.

Reinforcement Learning in Robotics참고 문헌 21인용 수 15

한 줄 요약

이 논문은 딥러닝에서 확률적 경사하강법(SGD)의 최적 학습률을 자동으로 학습하기 위해 액터-크리틱 강화학습 프레임워크를 제안한다. 정책 네트워크(액터)를 통해 단계별 학습률을 결정하고, 가치 네트워크(크리틱)를 통해 장기 성능을 평가함으로써, 다양한 데이터셋과 아키텍처에서 인간이 설계한 기준 대비 더 나은 수렴성과 더 적은 진동을 달성한다.

ABSTRACT

Stochastic gradient descent (SGD), which updates the model parameters by adding a local gradient times a learning rate at each step, is widely used in model training of machine learning algorithms such as neural networks. It is observed that the models trained by SGD are sensitive to learning rates and good learning rates are problem specific. We propose an algorithm to automatically learn learning rates using neural network based actor-critic methods from deep reinforcement learning (RL).In particular, we train a policy network called actor to decide the learning rate at each step during training, and a value network called critic to give feedback about quality of the decision (e.g., the goodness of the learning rate outputted by the actor) that the actor made. The introduction of auxiliary actor and critic networks helps the main network achieve better performance. Experiments on different datasets and network architectures show that our approach leads to better convergence of SGD than human-designed competitors.

연구 동기 및 목표

• SGD 기반 학습에서 수작업으로 문제에 맞게 조정하는 학습률 튜닝의 과제를 해결한다.
• 사람의 간섭 없이 모델 수렴성을 향상시키는 자동화되고 적응적인 학습률 전략을 개발한다.
• 단기적 손실 감소가 아닌 장기 성능 최적화를 위해 강화학습을 활용한다.
• 학습률 정책에서 기울기 불일치 분석을 통해 기울기의 불일치를 감지하고 학습률을 조절하여 학습을 안정화시킨다.
• 다양한 데이터셋과 신경망 아키텍처에 걸쳐 학습률 제어를 일반화한다.

제안 방법

• 각 학습 단계에서 학습률을 출력하는 액터 네트워크를 갖는 액터-크리틱 딥 강화학습 프레임워크를 사용한다.
• 기대 누적 미래 손실 감소를 추정하기 위해 크리틱 네트워크를 훈련시켜 장기 보상 모델링을 가능하게 한다.
• 미니배치 기울기와 전체배치 기울기 사이의 기울기 불일치를 학습률 안정성 조절 신호로 도입한다.
• 액터와 크리틱 네트워크에 서로 다른 학습 샘플을 입력하여 진동을 탐지하고, 불일치가 높을 경우 학습률을 감소시킨다.
• 크리틱 피드백에 기반하여 정책 그래เดียน트 방법을 사용해 액터 네트워크를 업데이트함으로써 장기 성능 최적화를 이룬다.
• 보조 액터 및 크리틱 네트워크를 메인 모델과 함께 엔드 투 엔드로 훈련시켜 수렴성을 함께 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습을 사용해 딥러닝에서 SGD의 최적 학습률을 효과적으로 학습시킬 수 있는가?
• RQ2 즉각적인 손실 감소 기반 전략에 비해 장기 보상에서 학습하는 것이 학습률 스케줄링에서 더 우수한 성능을 내는가?
• RQ3 기울기 불일치를 안정적인 학습과 진동 감소를 위한 신뢰할 수 있는 신호로 사용할 수 있는가?
• RQ4 수렴 속도와 최종 모델 성능 측면에서 제안된 방법은 인간이 설계한 학습률 스케줄링에 비해 어떻게 비교되는가?
• RQ5 재튜닝 없이 다양한 데이터셋과 신경망 아키텍처에 걸쳐 일반화 가능한가?

주요 결과

• 제안된 방법은 평가된 모든 데이터셋과 네트워크 아키텍처에서 가장 낮은 최종 테스트 손실을 달성하여 인간이 설계한 기준을 능가한다.
• 초기에는 수렴 속도가 기준과 유사하지만, 장기 보상 최적화를 우선시함으로써 더 뛰어난 최종 성능에 도달한다.
• 학습 손실 및 테스트 손실 곡선이 표준 SGD 및 기준 방법보다 현저히 매끄럽게 나타나, 진동 감소가 확인된다.
• 기울기 불일치 분석 결과, 미니배치 간 기울기가 크게 다를 경우 학습률을 감소시켜 학습을 안정화시킨다.
• 최적화 궤적의 시각화 결과, 다른 방법에 비해 더 적은 단계 수로 더 직접적인 경로로 최적값에 수렴하는 것으로 나타났다.
• 특히 기울기 불일치가 높은 영역에서 학습 중 진동을 효과적으로 줄여, 시간이 지남에 따라 테스트 손실이 단조롭게 감소하는 결과를 얻었다.