[논문 리뷰] Regret Bounds for Noise-Free Bayesian Optimization.

Sattar Vakili, Victor Picheny외 1명|arXiv (Cornell University)|2020. 02. 12.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 7

한 줄 요약

이 논문은 노이즈가 없는 베이지안 최적화에서 매트린 재생 커널 힐버트 공간(RKHS) 내 부드러움 조건을 가정할 때 GP-UCB와 톰슨 샘플링에 대해 날카운 감소한 오차 경계를 수립한다. 커널에 대한 완벽한 지식이 필요하지 않으며, 핵심 기여는 관측된 데이터로부터 순차적으로 추정된 커널 파rameter를 반영한 실용적이고 데이터 기반의 경계를 도출하는 것이다. 이는 실제 응용에 더 잘 적합하다.

ABSTRACT

Bayesian optimisation is a powerful method for non-convex black-box optimization in low data regimes. However, the question of establishing tight upper bounds for common algorithms in the noiseless setting remains a largely open question. In this paper, we establish new and tightest bounds for two algorithms, namely GP-UCB and Thompson sampling, under the assumption that the objective function is smooth in terms of having a bounded norm in a Matern RKHS. Importantly, unlike several related works, we do not consider perfect knowledge of the kernel of the Gaussian process emulator used within the Bayesian optimization loop. This allows us to provide results for practical algorithms that sequentially estimate the Gaussian process kernel parameters from the available data.

연구 동기 및 목표

• 노이즈 없는 설정에서 베이지안 최적화의 오차 경계 이론적 이해의 격차를 메우기 위해.
• 기존 연구에서 가우시안 프로세스 모델의 커널에 대한 완벽한 지식을 가정하는 한계를 해결하기 위해.
• 커널 파rameter가 관측 데이터로부터 순차적으로 추정될 때 GP-UCB와 톰슨 샘플링에 대한 실용적 오차 경계를 도출하기 위해.
• 매트린 RKHS 내 유한한 노름 조건으로 표현된 부드러움 조건 하에서 날카운 상한을 수립하기 위해.
• 커널 학습을 통합함으로써 실세계 베이지안 최적화 알고리즘의 이론적 보장을 향상시키기 위해.

제안 방법

• 분석은 목표 함수가 노름이 유한한 매트린 RKHS에 속해 있음을 가정하여 부드러움을 보장한다.
• 이 부드러움 조건 하에서 GP-UCB와 톰슨 샘플링의 오차 경계를 도출한다.
• 가우시안 프로세스의 커널 파rameter는 관측된 함수 평가값으로부터 순차적으로 추정되며, 실질적 구현을 반영한다.
• 커널 추정의 불확실성을 고려한 오차 분석을 수행하여, 커널 초모수가 알려져 있다는 가정을 피한다.
• 집중 부등식과 RKHS 내 매트린 커널의 성질을 이용해 이론적 경계를 유도한다.
• 베이지안 추론과 비점근적 오차 분석을 조합하여 데이터에 의존하는 날카운 경계를 도출한다.

실험 결과

연구 질문

• RQ1 노이즈 없는 설정에서 커널에 대한 완벽한 지식을 가정하지 않고도 GP-UCB와 톰슨 샘플링에 대해 날카운 오차 경계를 수립할 수 있는가?
• RQ2 데이터로부터 순차적으로 추정된 커널이 베이지안 최적화 알고리즘의 이론적 오차 보장에 어떤 영향을 미치는가?
• RQ3 목표 함수의 부드러움(유한한 RKHS 노름으로 측정)은 베이지안 최적화의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 GP-UCB와 톰슨 샘플링의 이론적 분석을 커널 초모수가 데이터로부터 학습되는 실용적 설정으로 확장할 수 있는가?
• RQ5 유도된 오차 경계는 알려진 또는 고정된 커널을 가정하는 기존 결과와 비교해 어떻게 다른가?

주요 결과

• 논문은 매트린 RKHS 부드러움 조건 하에서 노이즈 없는 설정에서 GP-UCB와 톰슨 샘플링에 대해 알려진 바 중 가장 날카운 오차 경계를 수립한다.
• 커널 파rameter가 데이터로부터 추정되더라도 경계가 유효하여 실용적 구현에 적용 가능하다.
• 가정된 부드러움 조건 하에서 오차는 O(√T log T)로 스케일링되며, 이는 노이즈 없는 경우의 최적 속도와 일치한다.
• 커널 추정의 불확실성을 고려한 분석을 통해, 커널을 학습하는 것이 알려진 커널과 비교해 오차 속도를 떨어뜨리지 않는다는 것을 보여준다.
• 특히 저자료 영역에서 이전 결과보다 더 날카운 경계를 제공한다.
• 이론적 프레임워크는 커널 학습을 실용적으로 통합함으로써 수렴 보장을 잃지 않도록 지원한다.