[论文解读] High-Dimensional Experimental Design and Kernel Bandits

Romain Camilleri, Julian Katz-Samuels+1 more|arXiv (Cornell University)|May 12, 2021

Advanced Bandit Algorithms Research参考文献 27被引用 6

一句话总结

该论文提出了一种用于高维实验设计的新型舍入方法，将测量次数 $N$ 与环境维度 $d$ 解耦，即使在 $N \ll d$ 的情况下也能实现高效的核上下文 bandit 算法。该方法在无需 $N$ 随 $d$ 增长的情况下实现了近乎最优的性能保证，并被用于开发对模型误设具有鲁棒性的核 bandit 算法，适用于后悔最小化和纯探索任务。

ABSTRACT

In recent years methods from optimal linear experimental design have been leveraged to obtain state of the art results for linear bandits. A design returned from an objective such as $G$-optimal design is actually a probability distribution over a pool of potential measurement vectors. Consequently, one nuisance of the approach is the task of converting this continuous probability distribution into a discrete assignment of $N$ measurements. While sophisticated rounding techniques have been proposed, in $d$ dimensions they require $N$ to be at least $d$, $d \log(\log(d))$, or $d^2$ based on the sub-optimality of the solution. In this paper we are interested in settings where $N$ may be much less than $d$, such as in experimental design in an RKHS where $d$ may be effectively infinite. In this work, we propose a rounding procedure that frees $N$ of any dependence on the dimension $d$, while achieving nearly the same performance guarantees of existing rounding procedures. We evaluate the procedure against a baseline that projects the problem to a lower dimensional space and performs rounding which requires $N$ to just be at least a notion of the effective dimension. We also leverage our new approach in a new algorithm for kernelized bandits to obtain state of the art results for regret minimization and pure exploration. An advantage of our approach over existing UCB-like approaches is that our kernel bandit algorithms are also robust to model misspecification.

研究动机与目标

• 解决当测量次数 $N$ 远小于维度 $d$ 时，将连续最优实验设计转换为离散测量分配的挑战，特别是在无限维再生核希尔伯特空间（RKHS）中。
• 克服现有舍入技术的局限性，这些技术要求 $N$ 随 $d$ 增长（如 $d$、$d\log\log d$ 或 $d^2$）才能获得次优性界。
• 开发一种新型核 bandit 算法，在模型误设下仍能保持在后悔最小化和纯探索设置中的强性能保证。
• 通过一种新颖的基于设计的方法，不依赖 UCB 风格的置信区间，确保核 bandit 算法对模型误设的鲁棒性。

提出的方法

• 提出一种新型舍入过程，将测量向量上的连续 $G$-最优设计分布转换为不依赖于 $d$ 的 $N$ 个离散测量，从而适用于高维或无限维设置。
• 在 RKHS 设置中使用镜像下降计算 $G$-最优设计，以确保对最优臂估计的方差最小化。
• 将所提出的舍入方法整合到核 bandit 算法中，该算法采用基于消除的策略，根据从实验设计中导出的置信区间，逐步剔除次优臂。
• 将设计优化建模为带有 $\theta$-范数和与测量向量内积约束的凸规划问题，并通过拉格朗日松弛和对偶优化求解。
• 引入一种对偶形式，通过在对偶变量 $\gamma$ 和 $\nu$ 上最大化，实现最优设计的高效计算，从而得到样本复杂度下限的闭式表达。
• 利用所得设计构建核 bandit 算法，在模型误设（$h > 0$）时仍能实现最先进的后悔和纯探索性能，并具备理论保证。

实验结果

研究问题

• RQ1 我们能否设计一种舍入过程，消除在高维实验设计中 $N$ 对 $d$ 的依赖，同时保持近乎最优的性能保证？
• RQ2 如何将最优实验设计原理扩展到 $d$ 实际上为无穷大或 $N \ll d$ 的核化 bandit 设置中？
• RQ3 基于实验设计的核 bandit 算法在多大程度上能对模型误设（$h > 0$）保持鲁棒性，相较于标准 UCB 方法？
• RQ4 在误设的核 bandit 设置中，纯探索的样本复杂度理论下限是什么？能否通过实用算法逼近该下限？

主要发现

• 所提出的舍入过程实现了 $N$ 与 $d$ 无关的离散测量选择，其性能保证几乎与现有方法相当，后者要求 $N \geq d$。
• 新型核 bandit 算法在良好设定和误设设定下均实现了最先进的后悔和纯探索性能。
• 该算法对模型误设（$h > 0$）具有鲁棒性，而标准 UCB 方法则依赖于精确线性性，在误设下会失效。
• 理论分析表明，纯探索的样本复杂度下限为 $T^*(\theta_*) = \inf_{\lambda \in \Delta_{\mathcal{X}}} \sup_{x' \neq x_*} \inf_{\gamma \geq 0} \frac{1}{F(\lambda, x', \gamma, \theta_*)}$，所提方法几乎达到了该下限。
• 实验评估证实，与投影到低维空间的基线方法相比，该方法在 $N \ll d$ 时表现出显著优势。
• 该算法在重尾噪声下仍保持强性能，因为它仅假设噪声具有有限方差，而无需有界或次高斯噪声假设。