[논문 리뷰] Bayesian Optimization with Unknown Constraints

Michael A. Gelbart, Jasper Snoek외 1명|arXiv (Cornell University)|2014. 03. 22.

Machine Learning and Algorithms참고 문헌 18인용 수 289

한 줄 요약

이 논문은 목적함수와 제약조건이 모두 비용이 많이 들고, 알려지지 않은, 노이즈가 있는 블랙박스 문제를 위한 베이지안 최적화 프레임워크를 제안한다. 제약조건은 상호 독립적으로 평가 가능하며, 탐색, 이용, 제약조건 충족의 균형을 이루는 확률적 획득 함수를 도입하여, 수렴성과 효율성에 엄격한 제약 조건이 있는 기계학습 알고리즘 및 HMC 파라미터 튜닝에서 뛰어난 성능을 보여준다.

ABSTRACT

Recent work on Bayesian optimization has shown its effectiveness in global optimization of difficult black-box objective functions. Many real-world optimization problems of interest also have constraints which are unknown a priori. In this paper, we study Bayesian optimization for constrained problems in the general case that noise may be present in the constraint functions, and the objective and constraints may be evaluated independently. We provide motivating practical examples, and present a general framework to solve such problems. We demonstrate the effectiveness of our approach on optimizing the performance of online latent Dirichlet allocation subject to topic sparsity constraints, tuning a neural network given test-time memory constraints, and optimizing Hamiltonian Monte Carlo to achieve maximal effectiveness in a fixed time, subject to passing standard convergence diagnostics.

연구 동기 및 목표

• 목적함수와 제약조건이 모두 비용이 많이 들고, 알려지지 않은, 노이즈가 있는 블랙박스 함수인 제약조건이 있는 최적화 문제를 다루는 것.
• 사용자가 제약조건 위반에 대한 신뢰수준(δ)을 지정할 수 있도록 하는 확률적 제약조건을 처리할 수 있는 일반적인 프레임워크를 개발하는 것.
• 목적함수와 제약조건 함수의 독립적 평가를 가능하게 하여, 제품 설계나 기계학습 하이퍼파rameter 튜닝과 같이 실제 응용에서 흔한 상황을 반영하는 것.
• 비제약 조건 설정을 넘어 실생활에서 복잡한 타당성 및 성능 제약 조건 하에서 실용적인 최적화를 지원하기 위해 베이지안 최적화를 확장하는 것.
• HMC, 신경망, 스파arsity 및 메모리 제약 조건이 있는 온라인 LDA와 같은 실제 문제들에 대해 본 방법의 효과성을 입증하는 것.

제안 방법

• 사용자가 정의한 신뢰수준(δ)을 가진 확률적 제약조건을 사용하여 제약조건이 있는 베이지안 최적화를 수식화한다.
• 제약조건 충족 확률을 최적화 목표에 통합하여, 기존의 기대 개선도(EI)를 확장한 새로운 획득 함수를 제안한다.
• 목적함수와 제약조건 함수를 모두 가우시안 프로세스로 모델링하여, 불확실성 인식 기반의 유망한 평가 지점 선택을 가능하게 한다.
• 목적함수와 제약조건 함수의 독립적 평가를 통합하여, 실제 최적화 파이프라인을 더 유연하고 현실적으로 모델링할 수 있도록 한다.
• 해석적 근사치를 사용하여 계산이 가능하도록 하며, 기대 개선도를 극대화하면서도 높은 타당성 확률을 확보하는 통합 최적화 전략을 채택한다.
• 반복적으로 프레임워크를 적용한다: 각 평가 후 사후 분포를 갱신하고, 획득 함수를 재계산하며, 목적함수와 제약조건의 유틸리티를 종합적으로 고려하여 다음 평가 지점을 선택한다.

실험 결과

연구 질문

• RQ1 어떻게 베이지안 최적화를 알려지지 않은, 노이즈가 있는 제약조건을 가진 블랙박스 최적화 문제로 확장할 수 있는가?
• RQ2 어떤 획득 함수 수식이 목적함수 개선과 제약조건 충족을 균형 잡고 타당 영역을 효과적으로 탐색할 수 있는가?
• RQ3 제안된 방법은 성능과 자원 제약 조건이 엄격한 복잡한 시스템, 예를 들어 HMC와 신경망을 효율적으로 최적화할 수 있는가?
• RQ4 이 프레임워크는 목적함수와 제약조건 함수의 독립적 평가를 어떻게 처리하며, 이는 공동 평가 대비 어떤 이점을 제공하는가?
• RQ5 실제 응용에서 고성능의 타당한 해를 찾기 위해 필요한 비용이 많이 드는 평가 횟수를 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 방법은 히스토그램 몬테카를로(HMC) 파라미터를 성공적으로 최적화하여, 100% 제약조건 충족을 유지하면서도 1초당 12.5개의 유효 샘플을 확보하였다. 이는 기준 설정보다 뛰어난 성능을 보였다.
• HMC 튜닝 과정에서, 방법은 단지 τ=2개의 리프로그 스텝과 3.8%의 버닝 타임만 선택하여 계산 시간을 크게 줄였고, 높은 유효 샘플 크기를 유지하였다.
• 최적화 과정에서 수용률은 70%를 기록하였고, 기준 설정의 85%와 대비하여 낮은 수용률이더라도 더 적은 스텝 수와 높은 효율성과 조합될 경우 수용 가능한 것으로 확인되었다.
• 프레임워크는 HMC에서 ε > 0.1일 경우 수치적 적분이 발산한다는 것을 발견하였으며, 이는 제약조건 표면도를 통해 시각화되어, 비타당 영역을 식별할 수 있음을 확인하였다.
• 온라인 LDA에 대해서는 주제의 희소성 제약조건을 효과적으로 최적화하여 자연어 처리 및 모델 정규화에의 적용 가능성을 보였다.
• 메모리 제약 조건이 있는 신경망 튜닝과 실시간 시스템 최적화를 포함한 다양한 문제에 대해 뚜렷한 제약조건 충족과 향상된 성능을 보이며 뛰어난 강건성을 입증하였다.