[논문 리뷰] Efficient Benchmarking of Algorithm Configuration Procedures via Model-Based Surrogates

Katharina Eggensperger, Marius Lindauer외 3명|arXiv (Cornell University)|2017. 03. 30.

Advanced Multi-Objective Optimization Algorithms참고 문헌 3인용 수 4

한 줄 요약

이 논문은 실제 알고리즘 구 Konfiguration (AC) 절차를 효율적으로 평가하기 위해 모델 기반 서rogate 벤치마크를 제안한다. 이는 비용이 많이 드는 실제 성능 평가를 대체하여 이전 AC 런에 기반해 학습된 빠른 회귀 모델을 사용한다. 서rogate 벤치마크는 원래의 하이퍼파rameter 공간과 성능 특성을 유지하면서 평가 비용을 수개월 정도로 감소시켜, 비용이 많이 드는 대상 알고리즘 실행 없이도 확장 가능하고 재현 가능한 AC 연구를 가능하게 한다.

ABSTRACT

The optimization of algorithm (hyper-)parameters is crucial for achieving peak performance across a wide range of domains, ranging from deep neural networks to solvers for hard combinatorial problems. The resulting algorithm configuration (AC) problem has attracted much attention from the machine learning community. However, the proper evaluation of new AC procedures is hindered by two key hurdles. First, AC benchmarks are hard to set up. Second and even more significantly, they are computationally expensive: a single run of an AC procedure involves many costly runs of the target algorithm whose performance is to be optimized in a given AC benchmark scenario. One common workaround is to optimize cheap-to-evaluate artificial benchmark functions (e.g., Branin) instead of actual algorithms; however, these have different properties than realistic AC problems. Here, we propose an alternative benchmarking approach that is similarly cheap to evaluate but much closer to the original AC problem: replacing expensive benchmarks by surrogate benchmarks constructed from AC benchmarks. These surrogate benchmarks approximate the response surface corresponding to true target algorithm performance using a regression model, and the original and surrogate benchmark share the same (hyper-)parameter space. In our experiments, we construct and evaluate surrogate benchmarks for hyperparameter optimization as well as for AC problems that involve performance optimization of solvers for hard combinatorial problems, drawing training data from the runs of existing AC procedures. We show that our surrogate benchmarks capture overall important characteristics of the AC scenarios, such as high- and low-performing regions, from which they were derived, while being much easier to use and orders of magnitude cheaper to evaluate.

연구 동기 및 목표

• 알고리즘 구 Konfiguration (AC) 절차를 벤치마크하는 데 높은 계산 비용과 설정 복잡성이 존재하는 문제를 해결하기 위해.
• 대상 알고리즘 또는 그 실행 환경에 대한 접근이 없더라도 신규 AC 방법의 재현 가능하고 확장 가능한 평가를 가능하게 하기 위해.
• 실제 AC 문제의 성능 지도를 정확하게 반영하면서도 평가 비용이 수개월 정도 낮아지는 서rogate 벤치마크를 개발하기 위해.
• 실제 벤치마크와 인위적 테스트 함수의 실용적이고 재사용 가능한 대안을 제공하기 위해.

제안 방법

• 실제 대상 알고리즘에 적용된 이전 AC 절차의 런 데이터를 기반으로 실험적 성능 모델(EPMs)을 학습하여 서rogate 벤치마크를 구축한다.
• 회귀 모델을 사용하여 하이퍼파rameter 설정과 문제 인스턴스 전역에서 대상 알고리즘 성능의 반응 표면을 근사한다.
• 동일한 하이퍼파rameter 공간, 인스턴스 세트, 성능 메트릭을 유지하여 서rogate 벤치마크가 원본 AC 벤치마크와 문법적으로 동일하게 유지되도록 한다.
• 기존 AC 절차 실행 중 수집된 데이터를 사용해 EPMs를 학습함으로써, 초도 오프라인 단계 이후에는 재사용 가능하고 비용 효율적인 과정이 되도록 한다.
• AC 절차 평가 중에 비용이 많이 드는 대상 알고리즘 호출을 기존에 학습된 EPM의 빠른 예측으로 대체한다.
• 기존의 AC 벤치마크 라이브러리(예: AClib, HPOlib)를 EPM 학습 데이터 소스로 활용한다.

실험 결과

연구 질문

• RQ1 실제 AC 런에서 학습된 서rogate 벤치마크가 원본 AC 문제의 성능 특성을 정확하게 재현할 수 있는가?
• RQ2 서rogate 벤치마크가 하이퍼파arameter 공간 내에서 고성능 및 저성능 영역과 같은 핵심 특징을 어느 정도 유지하는가?
• RQ3 실제 대상 알고리즘 평가 대비 서rogate 벤치마크를 사용할 경우 얼마나 많은 계산 비용을 절감할 수 있는가?
• RQ4 서rogate 벤치마크가 초기 최적화 및 조합 최적화 솔버와 같은 다양한 도메인에서 새로운 AC 절차의 신뢰할 수 있고 재현 가능한 평가를 지원할 수 있는가?

주요 결과

• 서rogate 벤치마크는 원본 AC 문제의 핵심 성능 특성—예를 들어 고성능 및 저성능 영역—을 매우 정밀하게 포착한다.
• 제안된 방법은 실제 대상 알고리즘을 실행하는 것과 비교해 평가 비용을 다수 개월 정도 감소시킨다.
• 서rogate 벤치마크는 재사용 가능하며, 비용이 많이 드는 대상 알고리즘 실행을 다시 수행하지 않고도 새로운 AC 절차를 반복적으로 평가하는 데 사용할 수 있다.
• 서rogate 벤치마크는 원본 벤치마크와 문법적으로 동일하므로 기존 AC 평가 파이프라인과의 호환성이 보장된다.
• 이 방법은 원본 대상 알고리즘 또는 그 실행 환경에 대한 접근 없이도 효율적이고 확장 가능하며 재현 가능한 AC 연구를 가능하게 한다.