[논문 리뷰] Hyperparameter optimization with approximate gradient

Fabián Pedregosa|arXiv (Cornell University)|2016. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 139

한 줄 요약

Hoag를 제시한다. 이는 합산 가능한 오차를 갖는 근사 그래디언트를 사용하는 gradient 기반 하이퍼파라미터 최적화 알고리즘으로, 정지점으로의 수렴을 보장한다. 정규화 및 커널 파라미터에서 시연된다.

ABSTRACT

Most models in machine learning contain at least one hyperparameter to control for model complexity. Choosing an appropriate set of hyperparameters is both crucial in terms of model accuracy and computationally challenging. In this work we propose an algorithm for the optimization of continuous hyperparameters using inexact gradient information. An advantage of this method is that hyperparameters can be updated before model parameters have fully converged. We also give sufficient conditions for the global convergence of this method, based on regularity conditions of the involved functions and summability of errors. Finally, we validate the empirical performance of this method on the estimation of regularization constants of L2-regularized logistic regression and kernel Ridge regression. Empirical benchmarks indicate that our approach is highly competitive with respect to state of the art methods.

연구 동기 및 목표

• 정규화된 및 커널 기반 모델에서 효과적인 하이퍼파라미터 최적화의 필요성에 대해 동기를 부여한다.
• 계산 부담을 줄이기 위해 근사 그래디언트를 사용하는 gradient 기반 방법을 개발한다.
• 완만한 규칙성 및 합산성 가정 하에서 수렴 보장을 확립한다.
• 다수의 데이터셋에서 로지스틱 회귀와 커널 리지 회귀에 대해 Hoag를 경험적으로 평가한다.

제안 방법

• 내부 목적과 외부 목적을 가진 이중 수준 문제로 하이퍼파라미터 최적화를 형식화한다.
• 내부 문제의 부정확한 해와 선형 시스템을 사용하여 외부 목적에 대한 근사 그래디언트를 도출한다.
• Hoag를 정의한다: 내부 문제를 공차 εk까지 풀고, 해시안-선형 시스템을 εk까지 해결하고, 근사 그래디언트로부터 p_k를 구성한 뒤, 스텝 크기 1/L의 사영(프로젝티드) 그래디언트 업데이트를 수행한다.
• 수렴성 증명: 그래디언트 오차가 O(εk)이고 εk의 합가능합이 수렴하면 외부 목적의 정지점으로 수렴한다.
• 적응형 스텝 크기와 실용적 구현 세부사항(예: CG 기반 해시안 풀이 및 εk-공차 전략)을 논의한다.

실험 결과

연구 질문

• RQ1 근사 그래디언트 정보를 사용하여 하이퍼파라미터 최적화를 어떻게 수행할 수 있는가?
• RQ2 이중 수준 하이퍼파라미터 설정에서 근사 그래디언트 방법이 정지점으로 수렴하는 조건은 무엇인가?
• RQ3 경험적으로 경쟁력 있는 성능을 보이는 실용적 공차 수열과 스텝 크기 전략은 무엇인가?
• RQ4 정확도와 효율성 측면에서 Hoag가 그리드 탐색, 무작위 탐색, SMBO, 반복 미분과 어떻게 비교되는가?
• RQ5 Hoag를 데이터셋 전반에 걸친 정규화 파라미터 추정 및 커널 파라미터 튜닝에 효과적으로 적용할 수 있는가?

주요 결과

• 외부 목적의 그래디언트는 제어 가능한 오차를 가지고 근사될 수 있으며 그 오차는 O(εk)이다.
• εk 시퀀스가 합산 가능하면 Hoag는 외부 목적의 정지점으로 수렴한다.
• Hoag는 L2-정규화 로지스틱 회귀 및 커널 Ridge 회귀에서 그리드 탐색, 무작위 탐색, SMBO 및 반복 미분에 비해 경쟁력 있는 성능을 달성한다.
• 수렴 동작을 유지하면서 알려지지 않은 Lipschitz 상수에 대처하기 위해 실무에서 적응형 스텝 크기 전략을 사용할 수 있다.
• 내부 최적화를 워밍업(웜 스타트)하는 것이 효율성을 높인다.
• 경험적 결과는 일부 데이터셋에서 비단계적 진행에도 불구하고 초기 수렴이 빠름을 시사한다.