[논문 리뷰] Bayesian Optimization under Heavy-tailed Payoffs

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|2019. 09. 16.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 하중분포가 무거운 尾를 가지는 블랙박스 함수를 위한 새로운 베이지안 최적화 프레임워크를 제안한다. 여기서 표준적인 서브-가우시안 노이즈 가정은 성립하지 않는다. 보상 절단과 Quadrature Fourier 특징 또는 Nystrom 방법을 이용한 커널 근사화를 조합함으로써, 제안된 ATA-GP-UCB 알고리즘은 유한한 $(1+\alpha)$-번째 모멘트 조건 하에서 $\tilde{O}(\gamma_T T^{1/(1+\alpha)})$의 최적의 리그레트 스케일링을 달성한다. 이는 제곱 지수 및 Matérn 커널에 대해 기초적인 하한과 일치한다.

ABSTRACT

We consider black box optimization of an unknown function in the nonparametric Gaussian process setting when the noise in the observed function values can be heavy tailed. This is in contrast to existing literature that typically assumes sub-Gaussian noise distributions for queries. Under the assumption that the unknown function belongs to the Reproducing Kernel Hilbert Space (RKHS) induced by a kernel, we first show that an adaptation of the well-known GP-UCB algorithm with reward truncation enjoys sublinear $ ilde{O}(T^{\frac{2 + α}{2(1+α)}})$ regret even with only the $(1+α)$-th moments, $α\in (0,1]$, of the reward distribution being bounded ($ ilde{O}$ hides logarithmic factors). However, for the common squared exponential (SE) and Matérn kernels, this is seen to be significantly larger than a fundamental $Ω(T^{\frac{1}{1+α}})$ lower bound on regret. We resolve this gap by developing novel Bayesian optimization algorithms, based on kernel approximation techniques, with regret bounds matching the lower bound in order for the SE kernel. We numerically benchmark the algorithms on environments based on both synthetic models and real-world data sets.

연구 동기 및 목표

• 금융, 네트워크 지연, 복잡한 시스템과 같은 실제 적용 사례에서 흔한, 중량분포가 두꺼운 보상 분포 하에서의 강건한 베이지안 최적화 방법의 부족을 해결한다.
• 서브-가우시안 노이즈를 가정하는 기존 GP-UCB 변종의 한계를 극복한다. 이는 보상 분포가 유한한 $(1+\alpha)$-번째 모멘트를 가지며 $\alpha \in (0,1]$일 경우에 실패한다.
• 유한차원 커널 근사화와 강건한 통계 추정을 활용하여, 중량분포가 두꺼운 노이즈 하에서도 최적의 리그레트 스케일링을 달성하는 새로운 알고리즘을 개발한다.
• 제곱 지수 및 Matérn와 같은 부드러운 커널에 대해 기초적인 $\Omega(T^{1/(1+\alpha)})$ 하한과 기존의 비최적 리그레트 상한 사이의 격차를 메운다.
• 실제 데이터와 합성 데이터 세트에서 중량분포가 두꺼운 노이즈 조건 하에서 제안된 방법의 실용적 효능을 입증한다.

제안 방법

• 보상 절단 단계를 도입하여 GP-UCB 알고리즘을 수정함으로써, $(1+\alpha)$-번째 모멘트 조건 하에서도 강건성을 확보한다.
• 특히 Quadrature Fourier 특징과 Nystrom 근사화를 포함한 커널 근사화 기법을 사용하여 무한차원 GP를 유한차원 특징 공간으로 투영함으로써 효율적인 계산을 가능하게 한다.
• 근사된 특징 공간 내에서 절단된 관측치를 사용하여 수정된 사후 평균 및 분산 추정치인 $\tilde{\mu}_t(x)$와 $\tilde{\sigma}_t(x)$를 구성한다.
• 시간에 따라 변화하는 신뢰구간 $\beta_t$를 정의하며, $\sqrt{\gamma_t \ln T}$ 스케일링을 적용하고, 절단된 경험 평균 추정치를 통해 중량분포에 대한 강건성을 확보한다.
• 무거운 尾 분포에 특화된 농도 부등식을 사용하여, 추정 오차 $|f(x) - \tilde{\mu}_t(x)|$의 고확률 경계를 확립한다.
• 신뢰구간과 사후 분산의 감쇠를 조합함으로써 누적 리그레트 상한을 유도하며, $\gamma_T$를 통한 커널 행렬의 트레이스를 활용한다.

실험 결과

연구 질문

• RQ1 기존의 베이지안 최적화 알고리즘인 GP-UCB는 보상 분포의 $(1+\alpha)$-번째 모멘트 조건 하에서도 하한선 리그레트를 유지할 수 있는가?
• RQ2 제곱 지수 및 Matérn와 같은 부드러운 커널에 대해, 중량분포가 두꺼운 보상 하에서 베이지안 최적화의 기초적인 리그레트 한계는 무엇인가?
• RQ3 커널 근사화 기법을 사용하여 중량분포가 두꺼운 노이즈 하에서도 최적의 리그레트 스케일링을 달성하는 베이지안 최적화 알고리즘을 설계할 수 있는가?
• RQ4 중량분포가 두꺼운 환경에서 제안된 알고리즘의 성능은 표준 GP-UCB와 비교해 어떻게 되는가?
• RQ5 Nyström과 Quadrature Fourier 특징 등의 서로 다른 커널 근사화 기법은 중량분포가 두꺼운 설정에서 리그레트와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 보상 절단을 적용한 수정된 GP-UCB는 $(1+\alpha)$-번째 모멘트 조건 하에서 $\tilde{O}(\gamma_T T^{(2+\alpha)/(2(1+\alpha))})$의 리그레트 상한을 달성한다. 이는 제곱 지수 및 Matérn 커널에 대해 비최적이다.
• Quadrature Fourier 특징 또는 Nystrom 방법을 사용한 커널 근사화를 적용한 제안된 ATA-GP-UCB 알고리즘은 $\tilde{O}(\gamma_T T^{1/(1+\alpha)})$의 리그레트 상한을 달성하며, 이는 제곱 지수 커널에 대해 기초적인 $\Omega(T^{1/(1+\alpha)})$ 하한과 정확히 일치한다.
• 리그레트 상한은 유한한 $(1+\alpha)$-번째 모멘트 조건, $\alpha \in (0,1]$을 유일한 가정으로 하며, 이는 실제 중량분포가 두꺼운 데이터에 적용 가능함을 의미한다.
• 합성 및 실제 데이터 세트에 대한 수치 실험 결과, 제안된 알고리즘이 중량분포가 두꺼운 환경에서 표준 GP-UCB를 능가함을 확인하였으며, 이는 강건성과 실용적 유용성을 뒷받침한다.
• 분석 결과, 커널 근사화 기법의 선택(Nyström 또는 Quadrature Fourier 특징)은 渐近적 리그레트 속도에 영향을 주지 않지만, 계산 효율성과 실증 성능에 영향을 준다.
• 이론적 보장은 고확률 $1 - \delta$ 하에서 유도되었으며, 시간에 따른 유니온 바운드와 중량분포에 강건한 농도 부등식을 활용하였다.