[논문 리뷰] Hyperparameter Optimization of Deep Neural Networks Using Non-Probabilistic RBF Surrogate Model.

Ilija Ilievski, Taimoor Akhtar외 2명|arXiv (Cornell University)|2016. 07. 28.

Machine Learning and Data Classification참고 문헌 21인용 수 12

한 줄 요약

이 논문은 심층 신경망을 위한 비확률적 하이퍼파rameter 최적화 방법인 HORD를 제안한다. 이 방법은 검증 오차를 근사하기 위해 반경 기저 함수(RBF) 서로서 모델을 사용한다. 베이지안 최적화 방법인 Spearmint과 TPE보다 우수한 성능을 달성하며, 비용이 많이 드는 평가 횟수를 줄이고 고차원 및 고관측 설정에서 효율적으로 스케일링된다. 이는 가우시안 프로세스와 같은 확률 모델을 대체하여 RBF 기반 서로서 모델을 사용함으로써 달성된다.

ABSTRACT

Recently, Bayesian optimization has been successfully applied for optimizing hyperparameters of deep neural networks, significantly outperforming the expert-set hyperparameter values. The methods approximate and minimize the validation error as a function of hyperparameter values through probabilistic models like Gaussian processes. However, probabilistic models that require a prior distribution of the errors may be not adequate for approximating very complex error functions of deep neural networks. In this work, we propose to employ radial basis function as the surrogate of the error functions for optimizing both continuous and integer hyperparameters. The proposed non-probabilistic algorithm, called Hyperparameter Optimization using RBF and DYCORS (HORD), searches the surrogate for the most promising hyperparameter values while providing a good balance between exploration and exploitation. Extensive evaluations demonstrate HORD significantly outperforms the well-established Bayesian optimization methods such as Spearmint and TPE, both in terms of finding a near optimal solution with fewer expensive function evaluations, and in terms of a final validation error. Further, HORD performs equally well in low- and high-dimensional hyperparameter spaces, and by avoiding expensive covariance computation can also scale to a high number of observations.

연구 동기 및 목표

• 심층 신경망의 복잡한 오차 함수를 근사하는 데 있어 가우시안 프로세스와 같은 확률 모델의 한계를 해결하기 위해.
• 오차 분포에 대한 사전 분포에 의존하지 않는 비확률적 대안을 개발하여 하이퍼파ram터 최적화를 위해.
• 연속적이고 정수형 하이퍼파ram터 공간에서 탐색과 이용을 효과적으로 균형 잡기 위해.
• 특히 고차원 관측에서 공분산 계산 비용을 줄여 계산 비용을 감소시켜 최적화 효율을 향상시키기 위해.
• 정확도를 희생시키지 않고 저차원과 고차원 하이퍼파ram터 공간 모두에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 하이퍼파ram터 값의 함수로 검증 오차를 근사하기 위해 반경 기저 함수(RBF)를 서로서 모델로 사용한다.
• DYCORS 알고리즘을 사용하여 RBF 서로서 공간 내에서 유망한 하이퍼파ram터 설정을 탐색한다.
• 오차에 대한 사전 분포가 필요 없도록, 확률 모델링 대신 결정론적 RBF 보간을 사용한다.
• DYCORS 알고리즘의 신뢰 영역 접근 방식을 통해 탐색과 이용을 균형 잡는다. 이는 점들을 적응적으로 샘플링한다.
• 가우시안 프로세스 기반 방법에서 흔히 발생하는 비용이 많이 드는 공분산 행렬 계산을 피함으로써 효율적으로 스케일링된다.
• 연속형 및 정수형 하이퍼파aram터를 모두 지원하여 실제 심층 학습 하이퍼파aram터 탐색에 광범위하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 비확률적 RBF 서로서 모델이 심층 신경망 하이퍼파aram터 튜닝에서 베이지안 최적화 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 HORD 방법은 Spearmint과 TPE와 같은 최신 기술 대비 수렴 속도와 최종 검증 오차 측면에서 어떻게 성능을 내는가?
• RQ3 HORD 방법은 저차원과 고차원 하이퍼파aram터 공간 모두에서 강력한 성능을 유지하는가?
• RQ4 RBF 모델에서 오차 분포에 대한 사전 분포가 없음으로써, 복잡하고 비정상적인 오차 함수에 대해 얼마나 더 뛰어난 강건성을 확보하는가?
• RQ5 HORD 프레임워크는 높은 관측 수에 대해 높은 계산 비용 없이 효율적으로 스케일링될 수 있는가?

주요 결과

• HORD는 비용이 많이 드는 함수 평가 횟수를 줄이며, 비슷한 성능을 내는 베이지안 최적화 방법(Spearmint, TPE)보다 근사 최적의 하이퍼파aram터 설정을 더 빨리 찾는다.
• 여러 벤치마크 데이터셋과 심층 신경망 모델에서 HORD는 Spearmint과 TPE보다 더 낮은 최종 검증 오차를 달성한다.
• 저차원과 고차원 하이퍼파aram터 공간 모두에서 일관되게 뛰어난 성능을 보이며, 차원 수에 대한 강건성을 입증한다.
• 비용이 많이 드는 공분산 계산을 피하기 때문에 HORD는 많은 관측 수에 대해 효율적으로 스케일링되며, 대규모 하이퍼파aram터 탐색에 적합하다.
• 비확률적 RBF 서로서 모델은 오차 분포에 대한 사전 가정 없이도 심층 신경망의 복잡하고 비선형적인 오차 함수를 효과적으로 근사한다.
• HORD는 탐색과 이용의 균형을 효과적으로 유지하여 하이퍼파aram터 공간에서 효율적인 전역 탐색을 가능하게 한다.