[논문 리뷰] Deep Q-Networks for Accelerating the Training of Deep Neural Networks

Jie Fu|arXiv (Cornell University)|2016. 06. 05.

Reinforcement Learning in Robotics참고 문헌 27인용 수 9

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN)의 훈련을 가속화하기 위해 최적의 학습률 스케줄을 자동으로 학습하는 딥 강화학습(RL) 에이전트를 제안한다. 가중치 통계를 상태로 관찰하고, 성능 목표에 도달하는 데 소요되는 훈련 시간을 최소화하는 데 기반한 보상 수신을 통해 에이전트는 동적으로 학습률을 조정하며, 기존 표준 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

연구 동기 및 목표

• 표준 최적화 방법을 초월하여 딥 뉴럴 네트워크(DNN)의 훈련 수렴 속도를 가속화하기 위해.
• 인간이 설계한 히ュ리스틱 없이 효과적인 학습률 스케줄링 정책을 자율적으로 학습하는 강화학습 에이전트를 개발하기 위해.
• RL 에이전트를 위한 DNN 훈련 중 가중치 통계 기반의 상태 표현을 설계하기 위해.
• 정해진 성능 목표를 달성하면서도 훈련 시간을 최소화하는 데 중점을 둔 보상 함수를 정의하기 위해.
• 표준 벤치마크 데이터셋에서 학습된 정책의 효과성을 입증하기 위해.

제안 방법

• RL 에이전트는 훈련 중 최적화 대상의 가중치 통계를 상태 특징으로 관찰한다.
• 에이전트는 실시간으로 DNN 최적화기의 학습률을 조정하기 위한 조치를 취한다.
• 보상 함수는 정해진 성능 목표를 달성하면서도 훈련 시간을 최소화하도록 설계된다.
• 에이전트는 최적의 스케줄링 정책을 학습하기 위해 딥 Q네트워크(DQN)를 사용하여 훈련된다.
• 이 방법은 DNN 최적화기를 RL 에이전트가 제어할 수 있는 환경으로 간주한다.
• 이 방법은 수동으로 설계된 히ュ리스틱 없이 훈련 동역학에서 직접 학습하는 엔드 투 엔드 방식이다.

실험 결과

연구 질문

• RQ1 인간이 설계한 히ュ리스틱 없이 딥 RL 에이전트가 DNN에 대해 효과적인 학습률 스케줄링 정책을 학습할 수 있는가?
• RQ2 수렴 속도 측면에서 학습된 정책의 성능은 표준 학습률 스케줄링 방식과 비교해 어떻게 되는가?
• RQ3 RL 에이전트는 성능 유지를 또는 향상시키면서 훈련 시간을 얼마나 줄일 수 있는가?
• RQ4 왜 가중치 통계가 RL 에이전트의 효과적인 상태 표현으로 기능하는가?
• RQ5 RL 에이전트는 다양한 DNN 아키텍처와 데이터셋 간에 일반화할 수 있는가?

주요 결과

• 제안된 RL 기반 학습률 스케줄링 방법은 표준 방법에 비해 DNN 훈련 속도를 크게 가속화한다.
• 에이전트는 목표 성능 목표를 달성하면서도 훈련 시간을 최소화하는 정책을 학습한다.
• 이 방법은 표준 벤치마크 데이터셋에서 효과를 보이며 더 빠른 수렴을 보여준다.
• 가중치 통계를 상태 특징으로 사용함으로써 에이전트는 관련 있는 최적화 역학을 포착할 수 있다.
• 이 방법은 대용량 DNN에 대해 딥 RL을 적용하여 최적화 정책을 학습하는 데 있어 첫 번째 尝시다.
• 보상 함수는 훈련 기간을 최소화하는 데에 에이전트를 효과적으로 이끌어낸다.