[논문 리뷰] Deep Reinforcement Learning for Accelerating the Convergence Rate

Jie Fu, Zichuan Lin외 6명|arXiv (Cornell University)|2016. 06. 05.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 학습을 가속화하기 위해 최적의 학습률 스케줄링 정책을 자동으로 학습하는 딥 강화학습(RL) 에이전트를 제안한다. 학습 목표 성능에 도달하기까지의 학습 시간을 최소화하는 데 기여하는 보상과 함께 가중치 통계를 관찰함으로써, 에이전트는 동적으로 학습률을 조정하며 기존 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

연구 동기 및 목표

• 부적절한 학습률 스케줄링으로 인한 딥 뉴럴 네트워크 학습의 느린 수렴 문제를 해결하기 위해.
• 수동으로 하이퍼파rameter를 조정하지 않고도 효과적인 학습률 정책을 자동으로 학습하는 일반적인 최적화 방법을 개발하기 위해.
• 기본 성능 목표를 유지하거나 향상시키면서 학습 시간을 줄이기 위해.
• 딥 강화학습을 사용하여 데이터 기반의 적응적인 방식으로 대규모 DNN을 최적화할 수 있는지 탐색하기 위해.

제안 방법

• 딥 RL 에이전트는 DNN 학습 중 실시간 가중치 통계를 기반으로 학습률 스케줄링을 학습하는 동적 최적화기로 작동한다.
• 에이전트의 상태 표현은 최적화 중인 DNN의 변화하는 가중치 통계에서 유도된다.
• 보상 함수는 정의된 성능 임계치에 도달하기 위해 필요한 학습 시간을 최소화하도록 설계된다.
• 에이전트가 취하는 조치는 각 학습 단계에서 DNN의 학습률을 조정하는 것이다.
• 이 방법은 딥 RL 알고리즘을 사용해 엔드 투 엔드로 훈련되며, 상호작용을 통해 효과적인 스케줄링 정책을 발견할 수 있다.
• 일반적인 벤치마크 데이터셋을 사용해 일반화성과 효과성을 검증하기 위해 평가된다.

실험 결과

연구 질문

• RQ1 딥 RL 에이전트는 DNN 학습을 가속화하기 위해 효과적이고 적응적인 학습률 스케줄링 정책을 학습할 수 있는가?
• RQ2 수렴 속도 측면에서 RL 기반 최적화기의 성능은 표준 최적화 방법과 비교해 어떻게 되는가?
• RQ3 RL 에이전트는 목표 모델 정확도를 유지하면서 얼마나 많은 학습 시간을 줄일 수 있는가?
• RQ4 다양한 DNN 아키텍처와 데이터셋에 걸쳐 학습된 정책의 강건성은 어느 정도인가?

주요 결과

• 제안된 딥 RL 접근법은 기준 최적화 전략에 비해 DNN의 수렴을 가속화하는 정책을 성공적으로 학습했다.
• 에이전트는 실시간 가중치 통계를 기반으로 학습률을 동적으로 조정함으로써 학습 시간을 크게 단축시켰다.
• 정의된 성능 목표를 충족시키면서 더 빠른 수렴을 달성함으로써, 정확도 도달 시간 최적화 측면에서의 효과성을 입증했다.
• 이 방법은 일반화 가능하며 표준 벤치마크 데이터셋에서 효과적이므로, DNN 학습에 광범위하게 적용 가능하다는 것을 시사한다.