[论文解读] Knowledge Gradient for Selection with Covariates: Consistency and Computation

Liang Ding, L. Jeff Hong+2 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Bandit Algorithms Research参考文献 30被引用 5

一句话总结

本文提出了一种用于协变量相关排序与选择的综合知识梯度（IKG）策略，其中最佳选择依赖于输入协变量。该策略在理论上证明了一致性——随着采样预算增加，策略几乎必然识别出真实最优选择；同时引入了一种随机梯度上升算法，以在异方差噪声和不同采样成本下实现高效计算。

ABSTRACT

Knowledge gradient is a design principle for developing Bayesian sequential sampling policies to solve optimization problems. In this paper we consider the ranking and selection problem in the presence of covariates, where the best alternative is not universal but depends on the covariates. In this context, we prove that under minimal assumptions, the sampling policy based on knowledge gradient is consistent, in the sense that following the policy the best alternative as a function of the covariates will be identified almost surely as the number of samples grows. We also propose a stochastic gradient ascent algorithm for computing the sampling policy and demonstrate its performance via numerical experiments.

研究动机与目标

• 解决在性能依赖于协变量的优化问题中选择最优替代方案的挑战，尤其在采样昂贵且存在噪声的情况下。
• 将知识梯度原则扩展至处理异方差采样噪声和非均匀采样成本，这些在仿真和实际应用中普遍存在。
• 理论上建立IKG策略的一致性：随着采样预算增加，对于任意协变量值，策略几乎必然识别出真实最优替代方案。
• 开发一种计算高效的变体——近似IKG（quasi-IKG），避免在每次迭代中求解嵌套优化问题，从而实现对高维协变量的可扩展性。
• 通过数值实验和基于克里金法的估计程序，展示方法在采样方差不确定性下的鲁棒性。

提出的方法

• 提出一种综合知识梯度（IKG）策略，通过同时考虑采样噪声方差和位置相关的采样成本，最大化成本调整后的期望信息增益。
• 将IKG准则表述为替代方案性能后验均值与方差的函数，结合采样成本与噪声方差，以指导序列采样决策。
• 引入随机梯度上升（SGA）算法，以近似求解IKG优化问题，替代计算成本较高的样本平均近似（SAA）方法。
• 使用普通克里金法估计协变量空间中的采样方差表面，将其建模为具有已知或估计参数的高斯过程。
• 实现一种近似IKG变体，通过使用固定采样协变量集来近似期望改进，从而跳过对协变量的内部最大化。
• 当真实方差未知时，应用最大似然估计（MLE）校准克里金模型以估计采样方差。

实验结果

研究问题

• RQ1 当采样预算趋于无穷大时，IKG策略是否能一致地识别出作为协变量函数的真实最优替代方案？
• RQ2 与现有方法相比，IKG策略在异方差采样噪声和非均匀采样成本下的表现如何？
• RQ3 随机梯度上升（SGA）算法是否能有效且高效地近似IKG策略，而无需求解嵌套优化问题？
• RQ4 IKG策略的性能对采样方差表面估计误差的敏感性如何？
• RQ5 IKG策略在高维协变量空间中的计算可扩展性如何？

主要发现

• IKG策略在理论上具有一致性：随着采样预算增加，对于任意给定的协变量值，所选替代方案几乎必然收敛至真实最优替代方案。
• 基于SGA的IKG方法在协变量维度增加时，其可扩展性显著优于样本平均近似（SAA）方法，计算时间增长缓慢得多。
• 近似IKG（quasi-IKG）变体在性能上与完整IKG相当，同时避免了昂贵的内部优化，使其适用于高维问题。
• 使用克里金法估计采样方差对性能影响较小，表明在真实场景中对估计误差具有鲁棒性。
• 数值实验表明，即使在采样方差被估计的情况下，IKG策略的机会成本仍保持较低水平，并收敛至接近最优水平。
• 基于SGA的IKG计算成本随维度增长呈次二次方增长，优于SAA方法所表现出的更陡峭的计算时间增长。