[论文解读] Bayesian Optimization under Heavy-tailed Payoffs

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|Sep 16, 2019

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出了一种新颖的贝叶斯优化框架，用于处理重尾收益分布的黑箱函数，其中标准的次高斯噪声假设不成立。通过结合奖励截断与核近似（采用积分傅里叶特征或Nystrom方法），所提出的ATA-GP-UCB算法在仅具有有界$(1+\alpha)$-阶矩的条件下，实现了$\tilde{O}(\gamma_T T^{1/(1+\alpha)})$的最优遗憾尺度，与平方指数核和Matérn核的理论下界一致。

ABSTRACT

We consider black box optimization of an unknown function in the nonparametric Gaussian process setting when the noise in the observed function values can be heavy tailed. This is in contrast to existing literature that typically assumes sub-Gaussian noise distributions for queries. Under the assumption that the unknown function belongs to the Reproducing Kernel Hilbert Space (RKHS) induced by a kernel, we first show that an adaptation of the well-known GP-UCB algorithm with reward truncation enjoys sublinear $ ilde{O}(T^{\frac{2 + α}{2(1+α)}})$ regret even with only the $(1+α)$-th moments, $α\in (0,1]$, of the reward distribution being bounded ($ ilde{O}$ hides logarithmic factors). However, for the common squared exponential (SE) and Matérn kernels, this is seen to be significantly larger than a fundamental $Ω(T^{\frac{1}{1+α}})$ lower bound on regret. We resolve this gap by developing novel Bayesian optimization algorithms, based on kernel approximation techniques, with regret bounds matching the lower bound in order for the SE kernel. We numerically benchmark the algorithms on environments based on both synthetic models and real-world data sets.

研究动机与目标

• 解决在金融、网络延迟和复杂系统等实际应用中常见的重尾收益分布下缺乏鲁棒的贝叶斯优化方法的问题。
• 克服现有GP-UCB变体假设次高斯噪声的局限性，这些方法在收益分布仅具有有限$(1+\alpha)$-阶矩（$\alpha \in (0,1]$）时会失效。
• 通过利用有限维核近似和鲁棒统计估计，开发一种新算法，在重尾噪声下实现最优遗憾尺度。
• 弥合现有次优遗憾界与光滑核（如平方指数核和Matérn核）的理论下界$\Omega(T^{1/(1+\alpha)})$之间的差距。
• 在合成数据和真实世界数据集上，于重尾噪声条件下验证所提方法的实际有效性。

提出的方法

• 通过引入奖励截断步骤，对GP-UCB算法进行改进，以处理重尾观测值，确保在仅具有$(1+\alpha)$-阶矩假设下的鲁棒性。
• 使用核近似技术——特别是积分傅里叶特征和Nystrom近似——将无限维GP投影到有限维特征空间，实现高效计算。
• 在近似特征空间中，利用截断观测值构建截断后验均值和方差估计$\tilde{\mu}_t(x)$与$\tilde{\sigma}_t(x)$。
• 定义一个与$\sqrt{\gamma_t \ln T}$成比例的置信区间$\beta_t$，并通过截断经验均值估计器引入对重尾的鲁棒性。
• 利用专为重尾分布设计的浓度不等式，建立估计误差$|f(x) - \tilde{\mu}_t(x)|$的高概率界。
• 通过结合置信区间与后验方差的衰减，利用核矩阵的迹（通过$\gamma_T$表示）推导累积遗憾界。

实验结果

研究问题

• RQ1 现有的贝叶斯优化算法（如GP-UCB）能否通过改进，在仅对收益分布的$(1+\alpha)$-阶矩有假设时仍保持次线性遗憾？
• RQ2 对于光滑核（如平方指数核和Matérn核），在重尾收益下贝叶斯优化的遗憾基本极限是什么？
• RQ3 能否利用核近似技术设计一种贝叶斯优化算法，在重尾噪声下实现最优遗憾尺度？
• RQ4 在重尾收益环境中，所提算法与标准GP-UCB相比性能如何？
• RQ5 在重尾设置下，不同核近似方案（如Nystrom与积分傅里叶特征）对遗憾和计算效率的影响如何？

主要发现

• 经改进的GP-UCB结合奖励截断，其遗憾界为$\tilde{O}(\gamma_T T^{(2+\alpha)/(2(1+\alpha))})$，对平方指数核和Matérn核而言为次优。
• 所提出的ATA-GP-UCB算法，通过积分傅里叶特征或Nystrom方法进行核近似，实现了$\tilde{O}(\gamma_T T^{1/(1+\alpha)})$的遗憾界，与平方指数核的理论下界$\Omega(T^{1/(1+\alpha)})$一致。
• 该遗憾界仅基于收益分布具有有界$(1+\alpha)$-阶矩（$\alpha \in (0,1]$）的假设，使该方法适用于真实世界的重尾数据。
• 在合成数据和真实世界数据集上的数值实验表明，所提算法在重尾环境中优于标准GP-UCB，验证了其鲁棒性和实际效用。
• 分析表明，核近似方法的选择（Nystrom或积分傅里叶特征）不影响渐近遗憾率，但会影响计算效率和实际性能。
• 理论保证以高概率$1 - \delta$建立，结合了时间上的联合界和针对重尾统计的鲁棒浓度不等式。