[논문 리뷰] Meta-Surrogate Benchmarking for Hyperparameter Optimization

Aaron Klein, Zhenwen Dai외 3명|arXiv (Cornell University)|2019. 05. 30.

Advanced Multi-Objective Optimization Algorithms참고 문헌 41인용 수 6

한 줄 요약

이 논문은 확률적 인코더와 오프라인 데이터 기반으로 훈련된 다중 작업 모델을 사용하여 저비용이고 현실적인 초파rameter 최적화(HPO) 작업을 생성하는 메타-서rogate 벤치마킹 프레임워크인 Profet을 제안한다. 이는 실제 문제의 통계적 성질을 유지하면서 다양한 저비용 작업을 샘플링함으로써 통계적으로 신뢰할 수 있고, 수개의 주머니만큼 더 빠른 HPO 방법 비교를 가능하게 한다.

ABSTRACT

Despite the recent progress in hyperparameter optimization (HPO), available benchmarks that resemble real-world scenarios consist of a few and very large problem instances that are expensive to solve. This blocks researchers and practitioners not only from systematically running large-scale comparisons that are needed to draw statistically significant results but also from reproducing experiments that were conducted before. This work proposes a method to alleviate these issues by means of a meta-surrogate model for HPO tasks trained on off-line generated data. The model combines a probabilistic encoder with a multi-task model such that it can generate inexpensive and realistic tasks of the class of problems of interest. We demonstrate that benchmarking HPO methods on samples of the generative model allows us to draw more coherent and statistically significant conclusions that can be reached orders of magnitude faster than using the original tasks. We provide evidence of our findings for various HPO methods on a wide class of problems.

연구 동기 및 목표

• 실제 HPO 벤치마크의 부족성과 계산 비용이 높아 대규모 통계적 비교가 어려운 문제를 해결하기 위해.
• 높은 벽시계 비용과 부족한 사용 가능한 작업으로 인해 제한적이고 비용이 많이 들며 재현 불가능한 HPO 벤치마킹 문제를 극복하기 위해.
• 실제 문제의 통계적 성질을 반영하는 무제한의 저비용이고 현실적인 HPO 작업을 생성함으로써 재현 가능하고 대량의 실험을 가능하게 하기 위해.
• 단일 작업 튜닝에 대한 의존도를 줄이고, HPO 메서드의 일반화 평가를 향상시키기 위해 대규모로 반복 가능한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 소규모의 실제 비용이 많이 드는 벤치마크 인스턴스에서 HPO 작업의 분포를 학습하기 위해 확률적 인코더와 다중 작업 가우시안 프로세스를 사용하여 생성적 메타모델을 훈련한다.
• 훈련된 메타모델에서 샘플링하여 새로운 저비용 HPO 작업을 생성함으로써 전역 작업 성질을 유지하면서 다양한 국소적 변형을 도입한다.
• 평가가 매개변수화되고 빠르기 때문에, 서로서티드 작업을 사용하여 HPO 메서드를 평가할 때 최소한의 계산 오버헤드를 유발한다.
• 실제 HPO 데이터(노이즈와 작업별 구조 포함)를 기반으로 훈련함으로써, 합성 함수가 아닌 실제 문제의 특성을 반영함으로써 실제 벤치마크에 대한 충실도를 확보한다.
• 실제 HPO 과제의 도전 과제를 반영하기 위해 서로서티드 작업에서 다중 정밀도 및 노이즈 있는 함수 평가를 지원한다.
• 학습-학습 및 기울기 기반 최적화 벤치마킹을 지원하기 위해 기울기 정보를 서로서티드 모델에 통합한다.

실험 결과

연구 질문

• RQ1 메타-서rogate 모델은 계산적으로 저비용이면서도 실제 문제와 통계적으로 유사한 HPO 작업을 생성할 수 있는가?
• RQ2 실제 비용이 많이 드는 벤치마크에서 유도된 결론과 비교해 볼 때, 서로서티드 작업에서 HPO 메서드를 벤치마킹하면 일관된 결과를 얻을 수 있는가?
• RQ3 서로서티드 벤치마킹은 통계적 신뢰성을 유지하면서도 HPO 평가의 계산 비용을 수개의 주머니만큼 감소시킬 수 있는가?
• RQ4 다양한 문제 유형에서 원본 벤치마크와 서로서티드 생성 작업 간의 HPO 메서드 성능 순위는 어떻게 비교되는가?
• RQ5 서로서티드 벤치마크는 AutoML 연구에서 재현 가능성을 얼마나 향상시키고 대규모 반복 실험을 얼마나 잘 가능하게 하는가?

주요 결과

• Profet가 생성한 서로서티드 작업에서 HPO 메서드를 벤치마킹하면, 원본 벤치마크에서의 결과와 통계적으로 일관된 결과를 얻을 수 있으며, 원본 작업의 일부만 사용하더라도 마찬가지다.
• BO-GP, BOHAMIANN, TPE, DE 등의 HPO 메서드가 서로서티드 작업에서의 성능 순위는 원본 벤치마크와 매우 유사하며, p-값 분석을 통해 강력한 일치가 확인되었다.
• 서로서티드 벤치마킹은 대규모 비교의 벽시계 시간을 수개의 주머니만큼 감소시켰다 — 예를 들어, MNIST에서 100개의 평가를 20번 수행하는 데 서로서티드 작업에서는 몇 분이면 충분했지만, 실제 작업에서는 수 시간이 소요되었다.
• 노이즈가 있는 조건에서도 신뢰할 수 있는 평가가 가능했으며, 예를 들어 정돈된 조건과 노이즈가 있는 SVM 벤치마크에서 성능 저하 패턴이 잘 유지되었다.
• 청결하고 저차원적인 작업에서는 BO-GP가 다른 메서드보다 뛰어난 성능을 보였고, BOHAMIANN은 노이즈에 더 강건했으며, 고차원 설정에서는 DE가 경쟁력 있는 성능을 보였다.
• 서로서티드 모델은 다중 정밀도 및 혼합 정수형 초파rameter 공간을 지원하여, 기존의 표준 합성 벤치마크를 넘어서 보다 광범위한 적용 가능성을 확보했다.