[논문 리뷰] Stochastic Hyperparameter Optimization through Hypernetworks

Jonathan Lorraine, David Duvenaud|arXiv (Cornell University)|2018. 02. 26.

Machine Learning and Data Classification참고 문헌 17인용 수 87

한 줄 요약

본 논문은 하이퍼네트워크를 학습시켜 하이퍼파라미터를 약간 최적의 가중치에 매핑하도록 하여 가중치와 하이퍼파라미터의 공동 확률적 최적화를 가능하게 하고 각 하이퍼파라미터 세트마다 처음부터 재학습하는 것을 방지한다.

ABSTRACT

Machine learning models are often tuned by nesting optimization of model weights inside the optimization of hyperparameters. We give a method to collapse this nested optimization into joint stochastic optimization of weights and hyperparameters. Our process trains a neural network to output approximately optimal weights as a function of hyperparameters. We show that our technique converges to locally optimal weights and hyperparameters for sufficiently large hypernetworks. We compare this method to standard hyperparameter optimization strategies and demonstrate its effectiveness for tuning thousands of hyperparameters.

연구 동기 및 목표

• 하이퍼파라미터 튜닝을 중첩 최적화 문제로 동기를 부여하고 이를 가중치와 하이퍼파라미터의 미분 가능하고 공동 최적화로 축소한다.
• 하이퍼파라미고터 파라미터를 주면 대략 최적의 가중치 wφ(λ) 를 출력하는 하이퍼네트워크를 도입하여 효율적인 하이퍼파라미터 최적화를 가능하게 한다.
• 큰 하이퍼파라미터 공간에서 가중치와 하이퍼파라미터를 함께 학습하는 것의 수렴성과 실제 가능성을 보인다.
• 표준 하이퍼파라미터 전략과 하이퍼네트워크 기반 최적화를 비교하고 수천 개의 하이퍼파라미터에서의 효과를 보여준다.

제안 방법

• 하이퍼파라미터를 입력으로 받아 대략 최적의 가중치 wφ(λ) 를 출력하는 신경망(하이퍼네트워크)을 학습한다.
• 학습 손실을 이용해 체인 룰로 하이퍼네트워크 매개변수 φ 를 업데이트한다: ∂LTrain(wφ)/∂wφ · ∂wφ/∂φ.
• 선택적으로 검증 손실을 하이퍼네트워크를 통해 미분하여 하이퍼파라미터 λ 를 최적화한다: ∂LValid(wφ(λ))/∂wφ(λ) · ∂wφ(λ)/∂λ.
• φ와 λ이 확률적 경사로를 사용하여 함께 업데이트되는 공동 최적화(Algorithm 3)를 제안한다.
• 선형 하이퍼네트워크와 로컬 최적 응답 근사(local best-response approximation)를 사용하는 확장 가능한 변형(Algorithm 4)을 논의한다.
• 베이지안 최적화와 언롤드 최적화와의 비교를 통해 수천 개의 하이퍼파라미터로의 확장성에서의 이점을 강조한다.

실험 결과

연구 질문

• RQ1 하이퍼네트워크가 하이퍼파라미터를 최적의 가중치에 매핑하는 연속적인 최적 반응 w*(λ)를 학습할 수 있는가?
• RQ2 완만한 가정하에서 하이퍼네트워크 가중치와 하이퍼파라미터의 공동 최적화가 국소 최적해로 수렴하는가?
• RQ3 고차원의 하이퍼파라미터 공간에서 하이퍼네트워크를 통한 그래디언트 기반 최적화가 전통적 하이퍼파라미터 방법보다 확장 가능한가?
• RQ4 효율성과 성능 측면에서 하이퍼 트레이닝이 언롤드 최적화 및 베이지안 최적화와 어떤 차이가 있는가?
• RQ5 수천 개의 하이퍼파라미터로 확장하기 위한 실용적 전략들(예: 선형 하이퍼네트워크, 로컬 분포 p(λ|λ̂))은 무엇인가?

주요 결과

• 하이퍼네트워크는 최적 응답 함수(best-response)를 근사할 수 있으며 작은 문제에서 검증 성능을 실제 최적값에 가깝게 도출한다.
• 로컬에서 학습된 간단한 하이퍼네트워크를 이용한 공동 최적화(Algorithm 3)는 대규모 하이퍼파라미터 설정에서 언롤드 최적화보다 수렴이 빠를 수 있다.
• 하이퍼-트레이닝은 수천 개의 하이퍼파라미터를 다루는 경우 표준 그라디언트-프리 방법보다 수렴 속도와 확장성에서 우수하다.
• 더 깊은 네트워크도 하이퍼트레이닝으로 최적화될 수 있으며 층 수가 증가해도 검증 성능을 유지하거나 향상시킨다.
• 로컬 최적 응답에는 선형 또는 분해된 하이퍼네트워크가 충분할 수 있어 매개변수 부담을 줄이면서 그래디언트 기반 하이퍼파라미터 업데이트를 가능하게 한다.