[논문 리뷰] Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models

Jeroen van Hoof, Joaquin Vanschoren|arXiv (Cornell University)|2021. 01. 06.

Machine Learning and Data Classification참고 문헌 41인용 수 10

한 줄 요약

Hyperboost는 분位수 회귀를 사용한 기울기 부스팅을 통해 낙관적인 성능 추정과 가장 가까운 관측된 설정까지의 맨하탄 거리를 활용하여 탐색을 이끌어내는 새로운 베이지안 최적화 방법을 제안한다. 이는 다양한 분류 문제에서 SMAC보다 뛰어난 성능을 보이며, 최신 HPO 시스템에서 랜덤 포레스트를 효과적으로 대체할 수 있는 기울기 부스팅 서rogate 모델의 잠재력을 입증한다.

ABSTRACT

Bayesian Optimization is a popular tool for tuning algorithms in automatic machine learning (AutoML) systems. Current state-of-the-art methods leverage Random Forests or Gaussian processes to build a surrogate model that predicts algorithm performance given a certain set of hyperparameter settings. In this paper, we propose a new surrogate model based on gradient boosting, where we use quantile regression to provide optimistic estimates of the performance of an unobserved hyperparameter setting, and combine this with a distance metric between unobserved and observed hyperparameter settings to help regulate exploration. We demonstrate empirically that the new method is able to outperform some state-of-the art techniques across a reasonable sized set of classification problems.

연구 동기 및 목표

• 기존의 랜덤 포레스트와 같은 방법들보다 더 스케일링 가능하고 정확한 서rogate 모델을 베이지안 최적화를 위한 초파라미터 튜닝에 개발하는 것.
• 높은 예측 성능로 알려진 기울기 부스팅을 전통적으로 가우시안 프로세스나 랜덤 포레스트에 의존하는 베이지안 최적화에 적응시키는 것.
• 기울기 부스팅 모델로부터의 불확실성 추정을 확보하여 탐색과 이용의 균형을 효과적으로 달성하는 과제를 해결하는 것.
• 분위수 회귀와 거리 기반 정규화를 조합하여 표준 AutoML 벤치마크 문제에서 성능을 향상시키는 것.
• 더 강력한 서rogate 모델을 사용하여 SMAC 및 기타 BO 기반 HPO 도구에 대한 실용적인 대안을 제공하는 것.

제안 방법

• 기존의 서rogate 모델(예: 랜덤 포레스트)을 대체하기 위해 미관측 초파라미터 설정의 성능을 예측하기 위해 기울기 부스팅 회귀를 사용한다.
• 성능의 낙관적 추정을 위해 분위수 회귀(90번째 백분위수)를 활용하여 잠재적으로 더 나은 설정으로의 탐색을 촉진한다.
• 가장 가까운 관측된 설정까지의 맨하탄 거리를 기반으로 한 거리 보너스를 도입하여 희소 영역에서의 탐색을 장려한다.
• 낙관적 예측과 거리 보너스를 하나의 획득 함수에 통합하여 후보 설정을 순위 매긴다.
• 고차원 공간에서 효율적인 근접 이웃 쿼리 수행을 위해 kD-트리 구축 시 차원 축소를 위해 주성분 분석(PCA)을 적용한다.
• 모델 기반 불확실성에 의존하지 않도록, 희소성에 기인한 불확실성은 모델과 별도로 추정하는 하이브리드 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅은 초파라미터 튜닝을 위한 베이지안 최적화에서 서rogate 모델로 효과적으로 적응시킬 수 있는가?
• RQ2 분위수 회귀와 거리 기반 탐색을 조합하면 기존의 표준 서rogate 모델에 비해 최적화 성능을 향상시키는가?
• RQ3 표준 분류 벤치마크 문제에서 SMAC(최신 HPO 도구)와 비교해 Hyperboost는 어떻게 성능을 내는가?
• RQ4 차원 축소(예: PCA)는 고차원 초파라미터 공간에서 근접 이웃 쿼리의 효율성과 성능에 어떤 영향을 미치는가?
• RQ5 기울기 부스팅 서rogate 모델은 수렴 속도와 최종 성능 측면에서 랜덤 포레스트를 능가할 수 있는가?

주요 결과

• Hyperboost는 합리적인 크기의 분류 문제 세트에서 SMAC를 능가하며, 더 뛰어난 최적화 성능을 보였다.
• 분위수 회귀의 사용은 높은 성능을 내는 설정으로의 탐색을 이끄는 효과적인 낙관적 추정을 제공한다.
• 가장 가까운 관측된 설정까지의 맨하탄 거리 통합은 희소 영역에서의 탐색을 향상시켜 수렴을 개선한다.
• PCA를 통한 차원 축소는 kD-트리의 구축 및 쿼리 시간을 크게 단축시키며, 성능 저하 폭은 미미하다.
• 특히 고차원 및 혼합 유형의 초파라미터 공간에서, SMAC에 대한 스케일링 가능하고 정확한 대안으로서의 잠재력을 보였다.
• 낙관적 예측과 거리 보너스를 통합한 획득 함수는 기준 방법에 비해 더 빠른 수렴과 더 나은 최종 해를 도출한다.