[논문 리뷰] Using Deep Q-Learning to Control Optimization Hyperparameters

Samantha Hansen|arXiv (Cornell University)|2016. 02. 12.

Reinforcement Learning in Robotics참고 문헌 13인용 수 23

한 줄 요약

이 논문은 신경망의 기울기 기반 학습에서 학습률을 자동으로 조절할 수 있도록 딥 Q러닝을 활용하는 새로운 최적화 프레임워크인 Q-gradient descent를 제안한다. 고정밀도 조정 문제를 맞춤형 상태, 행동, 보상 함수를 갖는 강화학습 문제로 재정의함으로써, DQN이 최적의 학습률 조정을 예측하도록 훈련시키며, Armijo 및 비단조화 선검색 방법과 비교해 더 뛰어난 수렴성과 일반화 성능을 달성한다.

ABSTRACT

We present a novel definition of the reinforcement learning state, actions and reward function that allows a deep Q-network (DQN) to learn to control an optimization hyperparameter. Using Q-learning with experience replay, we train two DQNs to accept a state representation of an objective function as input and output the expected discounted return of rewards, or q-values, connected to the actions of either adjusting the learning rate or leaving it unchanged. The two DQNs learn a policy similar to a line search, but differ in the number of allowed actions. The trained DQNs in combination with a gradient-based update routine form the basis of the Q-gradient descent algorithms. To demonstrate the viability of this framework, we show that the DQN's q-values associated with optimal action converge and that the Q-gradient descent algorithms outperform gradient descent with an Armijo or nonmonotone line search. Unlike traditional optimization methods, Q-gradient descent can incorporate any objective statistic and by varying the actions we gain insight into the type of learning rate adjustment strategies that are successful for neural network optimization.

연구 동기 및 목표

• 신경망 최적화 중에 학습률을 동적으로 제어하는 강화학습 기반 방법을 개발하여 수동 하이퍼파ram터 튜닝에 대한 의존도를 줄이기.
• 학습률과 같은 최적화 하이퍼파ram터를 제어하기 위해 특별히 설계된 상태, 행동, 보상의 새로운 RL 설정을 정의하기.
• 경험 재생을 사용한 Q러닝을 통해 딥 Q네트워크(DQNs)가 효과적이고 적응적인 학습률 정책을 학습할 수 있음을 보여주기.
• 제안된 Q-gradient descent 알고리즘의 성능을 기존의 선검색 방법(armijo 및 비단조화)과 비교하여 신경망 목표 함수 최소화에 대해 평가하기.
• 다양한 상태 특징이 DQN의 의사결정 및 최종 최적화 행동에 미치는 영향을 조사하기.

제안 방법

• 상태 표현은 타일러 전개와 선검색 원칙에서 유도되며, 목적 함수 값, 기울기 노름, 정렬 측도를 포함하여 국소 최적화 역학을 반영한다.
• 행동는 학습률을 인자로 감소시키기, 그대로 유지하기, 또는 두 번째 변형에서는 증가시키기이며, DQN은 각 행동에 대한 q값을 출력한다.
• 보상 함수는 목적 함수 최소화 방향으로의 진전을 반영하도록 설계되었으며, 향상 시에는 양의 보상을, 악화 시에는 음의 보상을 제공한다.
• 경험 재생을 사용한 Q러닝을 통해 두 개의 DQN을 훈련시켰다: 하나는 제한된 행동(armijo 유사)을, 다른 하나는 추가적인 증가 행동을 포함하며, 모두 최적의 행동-가치 함수를 학습한다.
• 훈련된 DQN은 하이브리드 알고리즘인 Q-gradient descent에 통합되며, 각 반복에서 학습률 조정을 안내하고 표준 기울기 업데이트와 결합된다.
• 프레임워크는 전방 신경망을 사용한 전화 분류 작업에서 평가되었으며, 특징 중요도 평가와 모델 및 데이터 스케일에 따른 일반화 성능을 분석하기 위한 아블레이션 스터디가 수행되었다.

실험 결과

연구 질문

• RQ1 딥 Q네트워크는 기존의 선검색 방법과 비교해 최적화 성능 향상에 기여하는 방식으로 학습률을 제어할 수 있는가?
• RQ2 목적 함수 값, 기울기 노름, 정렬 측도와 같은 다양한 상태 특징이 DQN의 정책과 최종 최적화 결과에 어떤 영향을 미치는가?
• RQ3 Q-gradient descent 알고리즘이 훈련 환경을 초월해 더 큰 모델과 데이터 세트로 일반화되는가?
• RQ4 DQN이 예측한 q값이 진정한 보상의 할인 수익으로 수렴하는 정도는 정책 학습 성공 여부를 어떻게 반영하는가?
• RQ5 DQN은 어떤 종류의 학습률 조정 전략을 발견했으며, 전통적인 선검색 히우리스틱과 비교해 어떻게 다른가?

주요 결과

• 최적 행동에 대한 DQN의 q값은 진정한 보상의 할인 수익으로 수렴하였으며, 이는 네트워크가 안정적이고 정확한 정책을 학습했다는 경험적 증거를 제공한다.
• DQN을 통한 Q-gradient descent는 Armijo 및 비단조화 선검색 방법을 모두 능가했으며, 원래 신경망에서 최종 목적 함수 값 1.91을 달성했고, 특징을 제거했을 경우 더 높은 값이 나왔다.
• 목적 함수 값 특징을 0으로 설정했을 경우 최종 목적 함수 값은 1.96으로 증가했고, 학습률이 더 자주 반으로 줄어들었으며, 이는 DQN이 효과적인 의사결정을 위해 이 특징에 의존하고 있음을 시사한다.
• 더 많은 행동(학습률 증가 포함)을 가진 DQN은 더 복잡하지만 안정적인 학습 곡선을 보였지만, 행동 공간이 넓어져서 수렴 속도가 더 느린 경향을 보였다.
• Q-gradient descent 알고리즘은 잘 일반화되었으며, 데이터가 3배 더 많은 더 큰 신경망에서도 더 뛰어난 성능을 달성하여 스케일 변화에 대한 강건성을 입증했다.
• 아블레이션 스터디는 목적 함수 값, 기울기 노름, 정렬 측도를 포함한 모든 상태 특징이 최적 성능을 위해 필수적임을 확인했으며, 특징 하나를 0으로 설정했을 경우 성능이 떨어졌다.