[논문 리뷰] Mean-Variance Analysis in Bayesian Optimization under Uncertainty

Shogo Iwazaki, I. Yu외 1명|arXiv (Cornell University)|2020. 09. 17.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 7

한 줄 요약

이 논문은 불확실성 하에서의 능동 학습을 위한 프레임워크인 베이지안 최적화에서의 평균-분산 분석(MVA-BO)을 제안한다. 이는 외부 환경적 요인에 영향을 받는 블랙박스 함수의 평균과 분산을 동시에 최적화하는 것이다. 성능 함수를 가우시안 프로세스(GP)로 모델링함으로써, 평균과 분산에 대한 위험 측도에 대한 경계를 유도하고, 다중 작업, 다중 목적, 제약 조건이 있는 최적화 상황을 위한 특화된 할당 함수를 개발하였다. 이는 이론적 수렴성과 수치 실험에서의 실용적 효능을 입증한다.

ABSTRACT

We consider active learning (AL) in an uncertain environment in which trade-off between multiple risk measures need to be considered. As an AL problem in such an uncertain environment, we study Mean-Variance Analysis in Bayesian Optimization (MVA-BO) setting. Mean-variance analysis was developed in the field of financial engineering and has been used to make decisions that take into account the trade-off between the average and variance of investment uncertainty. In this paper, we specifically focus on BO setting with an uncertain component and consider multi-task, multi-objective, and constrained optimization scenarios for the mean-variance trade-off of the uncertain component. When the target blackbox function is modeled by Gaussian Process (GP), we derive the bounds of the two risk measures and propose AL algorithm for each of the above three problems based on the risk measure bounds. We show the effectiveness of the proposed AL algorithms through theoretical analysis and numerical experiments.

연구 동기 및 목표

• 불확실성 하에서 성능 결과에 영향을 주는 제어할 수 없는 환경적 요인을 가진 환경에서의 능동 학습 문제를 다루기 위해.
• 불확실성 하에서 블랙박스 함수의 기대 성능(평균)과 위험(분산) 간의 트레이드오프를 모델링하고 최적화하기 위해.
• 환경적 요인이 랜덤일 경우 성능 함수의 평균과 분산 양측에 대한 불확실성을 고려한 할당 함수를 개발하기 위해.
• 비-GP 분산 함수를 다룰 수 있도록 GP-UCB를 확장하고, 다중 작업, 다중 목적, 제약 조건이 있는 설정에서 효율적인 최적화를 가능하게 하기 위해.
• 제안된 MVA-BO 프레임워크에 대한 이론적 수렴 보장과 실증적 검증을 제공하기 위해.

제안 방법

• 설계 매개변수 x와 환경 매개변수 w(분포 p(w)로 알려져 있음)를 가진 성능 함수 f(x,w)를 가우시안 프로세스(GP)로 모델링한다.
• GP 성질을 활용해 w에 대한 평균의 분석적 경계를 도출하고, 분산은 농도 부등식을 이용해 근사함으로써, f(x,w)의 기대값(평균)과 분산에 대한 경계를 유도한다.
• 유도된 경계를 활용해 평균과 분산 양측의 불확실성을 고려한 수정된 GP-UCB 할당 함수를 제안하며, 탐색을 이끌어낸다.
• 세 가지 상황에 대해 별도의 할당 전략을 설계한다: (1) 평균과 분산의 가중합 최적화, (2) 파레토 경계 식별, (3) 한 측도를 목적함수로, 다른 한 측도를 제약조건으로 하는 제약 최적화.
• 이산화와 ε-근사 파레토 집합 추정을 통해 유한한 반복 횟수 내에 근사 최적해로 수렴함을 보장한다.
• 알고리즘의 이론적 누적 손실 경계를 확립하여, 문제의 매개변수와 신뢰 수준에 따라 유한한 반복 횟수 T 내에 ϵ-정확한 파레토 집합을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 환경적 불확실성 하에서 성능 함수의 평균과 분산을 동시에 최적화할 수 있도록 베이지안 최적화를 어떻게 확장할 수 있는가?
• RQ2 성능 함수의 분산이 GP가 아니며 직접 관측할 수 없는 상황에서 효율적인 능동 학습을 가능하게 하는 할당 함수 설계는 무엇인가?
• RQ3 다중 작업, 다중 목적, 제약 조건이 있는 최적화 설정에서 기대 성능과 위험 간의 트레이드오프를 효과적으로 관리하는 방법은 무엇인가?
• RQ4 제안된 MVA-BO 프레임워크에서 ϵ-정확한 파레토 집합으로의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 위험(분산)이 중요한 설계 기준인 상황에서 기존 표준 BO에 비해 제안된 방법이 우월한 성능을 보일 수 있는가?

주요 결과

• 제안된 MVA-BO 프레임워크는 문제의 신뢰 수준 δ와 커널의 매끄러움에 따라 영향을 받는 유한한 반복 횟수 T 내에 ϵ-정확한 파레토 집합을 달성한다.
• 이론적 분석 결과, 알고리즘이 평균과 분산 추정치가 모두 진짜 값으로부터 ϵ/2 이내에 수렴함을 보여주며, 이는 종합적으로 ϵ-정확성을 보장한다.
• 분산 함수가 비-GP임을 고려해 농도 기반 경계를 도출함으로써 효과적인 불확실성 정량화를 가능하게 하였다.
• 수치 실험을 통해 제안된 할당 함수가 다중 작업, 다중 목적, 제약 조건이 있는 최적화 상황에서 효과적임을 입증하였다.
• 프레임워크는 GP-UCB를 위험 인식 최적화를 지원하도록 확장하여 실제 환경에서의 불확실성 조건 하에서도 실용적 적용이 가능하게 하였다.
• 알고리즘은 진짜 파레토 집합에 속한 임의의 점이 평균과 분산 양측에서 모두 ϵ 거리 이내의 근사치를 가지며 수렴함을 보장한다. 이는 강건성과 신뢰성 확보에 기여한다.