[논문 리뷰] Scalable Meta-Learning for Bayesian Optimization

Matthias Feurer, Benjamin Letham외 1명|arXiv (Cornell University)|2018. 02. 06.

Machine Learning and Data Classification참고 문헌 57인용 수 32

한 줄 요약

이 논문은 과거 최적화 실행에서 얻은 결과를 기반으로 한 가우시안 프로세스 모델의 앙상블을 사용하여 확장 가능한 메타학습 접근법을 제안한다. 이는 새로운 하이퍼파rameter 탐색을 가속화한다. 현재 작업에서의 일반화 성능를 추정하여 모델에 가중치를 부여함으로써, 단일 모델 접근법의 계산적 병목 현상을 피하고 벤치마크 및 실제 워크로드에서 근사 최적 구성에 도달하는 데 상당한 속도 향상을 달성한다.

ABSTRACT

Bayesian optimization has become a standard technique for hyperparameter optimization, including data-intensive models such as deep neural networks that may take days or weeks to train. We consider the setting where previous optimization runs are available, and we wish to use their results to warm-start a new optimization run. We develop an ensemble model that can incorporate the results of past optimization runs, while avoiding the poor scaling that comes with putting all results into a single Gaussian process model. The ensemble combines models from past runs according to estimates of their generalization performance on the current optimization. Results from a large collection of hyperparameter optimization benchmark problems and from optimization of a production computer vision platform at Facebook show that the ensemble can substantially reduce the time it takes to obtain near-optimal configurations, and is useful for warm-starting expensive searches or running quick re-optimizations.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 데이터 집약적 모델에서 하이퍼파rameter 최적화가 느린 문제를 해결하기 위해.
• 이전 실험의 결과를 활용하여 새로운 최적화 실행을 효율적으로 웜스타트할 수 있도록 하기 위해.
• 모든 과거 결과를 하나의 가우시안 프로세스 모델에 통합하는 데서 비효율적인 확장성 문제를 해결하기 위해.
• 비용이 많이 드는 최적화 환경에서 근사 최적 하이퍼파aram터 구성에 수렴하는 속도를 향상시키기 위해.
• 현재 작업에 대한 예상 성능에 따라 과거 모델을 동적으로 가중치를 매기는 방법을 개발하기 위해.

제안 방법

• 모든 과거 최적화 실행에서의 결과를 기반으로 각각 독립된 가우시안 프로세스 모델의 앙상블을 구성한다.
• 메타학습 전략을 사용하여 현재 최적화 작업에서 각 과거 모델의 일반화 성능를 추정한다.
• 가중치 평균을 통해 모델을 통합하며, 가중치는 현재 작업에서의 예상 성능에 의해 결정된다.
• 과거 데이터를 개별 모델으로 분리함으로써 단일 모델의 통합을 피하고 계산 오버헤드를 줄인다.
• 새로운 최적화 실행의 웜스타트와 구성 변경 후 신속한 재최적화를 모두 지원한다.
• 완전한 재학습을 피하고 분산된 모델 구성 요소를 활용함으로써 효율적인 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 과거 최적화 결과를 효과적으로 활용하여 새로운 베이지안 최적화 실행을 가속화할 수 있는가?
• RQ2 단일 통합 모델의 계산 비용을 초래하지 않고 과거 모델을 어떻게 조합할 수 있는가?
• RQ3 현재 작업에서의 일반화 성능 추정치에 따라 과거 모델에 가중치를 매기는 것이 어떤 영향을 미치는가?
• RQ4 수렴 속도와 해의 품질 측면에서 앙상블 방법은 표준 베이지안 최적화와 어떻게 비교되는가?
• RQ5 과거 최적화 실행의 수가 많아질 경우에도 성능를 유지하면서 확장 가능한가?

주요 결과

• 앙상블 방법은 벤치마크 문제에서 근사 최적 하이퍼파aram터 구성에 도달하기 위해 필요한 평가 수를 크게 줄였다.
• 특히 이전 실행에서 웜스타트할 경우 표준 베이지안 최적화보다 더 빠른 수렴 속도를 달성했다.
• 과거 실행 수에 비례하여 효율적으로 확장되며, 단일 모델 접근법에서 관찰되는 제곱형 증가하는 계산 비용을 피했다.
• 페이스북의 생산용 컴퓨터 비전 플랫폼에서의 실증 결과는 하이퍼파aram터 튜닝에 측정 가능한 시간 절감 효과를 보였다.
• 과거 실행이 현재 최적화 작업과 관련성이 높을수록 성능 향상이 두드러졌으며, 이는 모델 가중치에 의해 확인되었다.
• 간단한 과거 모델 평균화보다 앙상블 모델이 우수한 성능를 보이며, 성능 기반 가중치 부여의 가치를 입증했다.