[논문 리뷰] Learning to Learn without Gradient Descent by Gradient Descent

Yutian Chen, Matthew W. Hoffman외 5명|arXiv (Cornell University)|2016. 11. 11.

Higher Education Learning Practices인용 수 162

한 줄 요약

이 논문은 합성 함수에서 순환 신경망 최적화기를 학습시켜 빠르고 전이 가능한 블랙박스 최적화를 수행하게 하며, 하이퍼파라미터 튜닝 및 제어 작업을 포함한 다양한 설정에서 베이지언 최적화 방법과 견주거나 때로는 이를 능가합니다.

ABSTRACT

We learn recurrent neural network optimizers trained on simple synthetic functions by gradient descent. We show that these learned optimizers exhibit a remarkable degree of transfer in that they can be used to efficiently optimize a broad range of derivative-free black-box functions, including Gaussian process bandits, simple control objectives, global optimization benchmarks and hyper-parameter tuning tasks. Up to the training horizon, the learned optimizers learn to trade-off exploration and exploitation, and compare favourably with heavily engineered Bayesian optimization packages for hyper-parameter tuning.

연구 동기 및 목표

• 베이지안 방법을 넘어서는 빠르고 일반 목적의 블랙박스 최적화를 동기를 부여한다.
• 탐색-활용 트레이드오프를 학습하는 메타학습 최적화를 개발한다.
• 도메인 간 미분가능성 없는 문제에 학습된 최적화기의 전달을 시연한다.
• 훈련-호라이즌 시나리오에서 표준 BO 패키지 대비 계산 이점을 보인다.

제안 방법

• 공유 파라미터를 갖는 RNN으로 블랙박스 최적화를 모델링하고, 은닉 상태를 업데이트하며 다음 질의 포인트를 제안한다.
• 유한한 수평(L_sum) 동안 목적값의 합을 사용하는 손실로 시퀀스 역전파를 통해 RNN을 훈련한다.
• 탐색을 촉진하는 손실로 실험한다. 예를 들어 기대 개선(EI) 및 관찰 개선(OI).
• 훈련 함수 분포는 미분 가능 학습 신호를 제공하기 위해 가우시안 프로세스 사전에서 생성된다.
• 피드백 플래그를 입력에 추가하고 비정렬 완료를 시뮬레이션하여 병렬 평가로 프레임워크를 확장한다.
• 학습된 최적화를 Spearmint, TPE, SMAC와 비교하고 GP 밴딧, 제어, 하이퍼파라미터 튜닝을 포함한 전달 태스크에서 평가한다.
• 최적화기에 미분 가능 아키텍처(DNC 및 LSTM)를 사용하고 테스트 시 속도를 평가한다.

실험 결과

연구 질문

• RQ1 단순한 합성 함수로 학습된 RNN 기반 최적화기가 광범위한 블랙박스 함수를 효과적으로 최적화할 수 있는가?
• RQ2 학습된 최적화기가 훈련 분포를 넘어 미분 불가능한 최적화 도메인으로 전달되는가?
• RQ3 다른 메타학습 손실(sum, EI, OI)이 탐색-활용 균형과 성능에 어떻게 영향을 미치는가?
• RQ4 확립된 베이지안 최적화 패키지에 비해 학습된 최적화기의 계산적 이점은 무엇인가?
• RQ5 성능 저하 없이 학습된 최적화 프레임워크에 병렬 평가를 통합할 수 있는가?

주요 결과

• 학습된 RNN 최적화기는 GP 밴딧, 제어 목표, 글로벌 최적화 벤치마크, ML 하이퍼파라미터 튜닝으로 전달된다.
• EI 또는 OI 손실로 학습된 DNC 기반 최적화기가 직접 관찰된 DNC를 능가하고 100단계 호라이즌 내에서 Spearmint, SMAC, TPE와 경쟁적이며 종종 더 빠르다.
• 최적화기는 테스트 시 전통적인 BO 방법보다 수측으로 수의 차이로 수백 배 ~ 10^4배 빠르다(보고된 사례에서 대략).
• 입력 차원이 더 높아지면 학습된 최적화기가 학습 호라이즌에서 기준 BO 방법을 능가한다.
• 병렬 제안 스킴은 성능을 유지하면서 하이퍼파라미터 튜닝 시 큰 속도 향상을 제공한다.
• 이 접근법은 표준 벤치마크와 단순 제어 문제에서 경쟁력 있는 결과를 얻으며, 종종 엔지니어링된 최적화기와 대등하거나 이를 상회한다.