[논문 리뷰] Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior

Zi Wang, Beomjoon Kim외 1명|arXiv (Cornell University)|2018. 11. 23.

Advanced Bandit Algorithms Research인용 수 24

한 줄 요약

이 논문은 오프라인 데이터로부터 알려지지 않은 가우시안 프로세스 사전분포를 경량 베이지안 방법의 변종인 실증 베이지안을 사용해 학습하는 메타-베이지안 최적화 프레임워크를 제안한다. 이는 편향 없는 사후 분포 추정을 가능하게 하며, 오프라인 데이터와 온라인 평가가 증가함에 따라 관측 잡음에 비례하는 상수로 감소하는 거의 영역의 손실 한계를 달성한다. GP-UCB와 개선 확률 확보 함수에 대해 이론적 보장이 있다.

ABSTRACT

Bayesian optimization usually assumes that a Bayesian prior is given. However, the strong theoretical guarantees in Bayesian optimization are often regrettably compromised in practice because of unknown parameters in the prior. In this paper, we adopt a variant of empirical Bayes and show that, by estimating the Gaussian process prior from offline data sampled from the same prior and constructing unbiased estimators of the posterior, variants of both GP-UCB and probability of improvement achieve a near-zero regret bound, which decreases to a constant proportional to the observational noise as the number of offline data and the number of online evaluations increase. Empirically, we have verified our approach on challenging simulated robotic problems featuring task and motion planning.

연구 동기 및 목표

• 베이지안 최적화에서 이론적 보장을 약화시키는 가우시안 프로세스 사전분포의 알려지지 않은 초모수 문제를 해결한다.
• 사전분포 선택이 데이터에 의존하고 데이터 수집이 정확한 사전분포에 의존하는 '닭과 계란' 문제를 해결한다.
• 동일한 GP 사전분포에서 온 오프라인 데이터를 사용하여 사전분포 및 사후분포 초모수를 편향 없이 추정하는 메타학습 프레임워크를 개발한다.
• 유한 및 컴act 입력 공간에서 GP-UCB와 개선 확률에 대한 이론적 손실 한계를 확립한다.
• 비정상성과 불연속성으로 인해 표준 사전분포가 실패하는 로봇 작업 및 운동 계획 문제에서의 경험적 효능을 입증한다.

제안 방법

• 오프라인 훈련 데이터로부터 GP 사전분포 초모수(평균 및 공분산)를 추정하기 위해 실증 베이지안의 변종을 사용하여 편향 없는 추정기 보장.
• 추정된 사전분포와 관측 데이터를 사용하여 각 단계에서 사후 평균 및 분산에 대한 편향 없는 추정기 구축.
• 추정된 사후 평균 및 분산을 사용하여 GP-UCB 및 개선 확률 확보 함수를 적응시키며, 데이터 의존적 신뢰도 너비 파라미터 ζₜ를 사용.
• 추정 불확실성을 고려하기 위해 스케일드 인버스 워시아트 근사법을 사용하여 사후 분산 추정기의 수정 요소 도입.
• 이산 영역에서의 누락 데이터를 다루기 위해 행렬 완성 기법 적용하여 부분 관측 조건에서도 성능 유지.
• PI 확보 함수에서 진짜 최대 함수 값(f*)에 대한 알려진 상한을 사용하여 수렴 보장.

실험 결과

연구 질문

• RQ1 알려지지 않은 GP 사전분포 초모수를 오프라인 데이터로부터 추정해야 하는 상황에서, 베이지안 최적화에서 이론적 손실 한계를 달성할 수 있는가?
• RQ2 편향 없는 사전분포 및 사후분포 추정기와 함께 실증 베이지안을 사용할 경우, 메타-BO에서 손실 성능이 향상되는가?
• RQ3 GP-UCB와 개선 확률의 손실 한계는 오프라인 데이터와 온라인 평가가 증가함에 따라 어떻게 변화하는가?
• RQ4 비정상성 또는 불연속성으로 인해 표준 사전분포가 실패하는 로봇 최적화 작업에서 이 방법이 표준 BO를 능가할 수 있는가?
• RQ5 특히 이산 입력 공간에서 훈련 데이터에 누락 데이터가 있을 경우, 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 오프라인 데이터와 온라인 평가가 증가함에 따라 관측 잡음 σ²에 비례하는 상수로 감소하는 거의 영역의 손실 한계를 달성한다.
• ℝᵈ의 유한 및 컴act 입력 공간 모두에서, GP-UCB와 개선 확률에 대한 손실 한계는 훈련 데이터와 커널 구조에 대한 온건한 가정 하에 O(σ²)로 수렴한다.
• 이론적 분석 결과, 제안된 실증 베이지안 프레임워크 하에서 사후 평균 및 분산 추정기는 편향이 없음을 입증되었으며, 이는 유효한 손실 분석을 가능하게 한다.
• 로봇 작업 및 운동 계획 문제에서의 경험적 결과는, 비정상성으로 인해 표준 사전분포(예: 제곱 지수)가 실패하는 상황에서도 이 방법이 모든 베이스라인보다 뛰어난 성능을 보임을 보여준다.
• 누락 데이터에 대해서도 이 방법은 강건하다: 훈련 데이터의 60%가 누락된 상태에서도 강력한 성능 유지를 보이며, PI 확보 함수는 UCB 성능을 따라잡는다.
• GP-UCB의 신뢰도 너비 파라미터 ζₜ는 위샤르트 분포와 데이터 크기를 포함한 고확률 농도 경계에서 유도되며, 이론적 타당성을 보장한다.