[论文解读] Optimal Learning for Sequential Decision Making for Expensive Cost Functions with Stochastic Binary Feedbacks

Yingfei Wang, Chu Wang+1 more|arXiv (Cornell University)|Sep 13, 2017

Advanced Bandit Algorithms Research参考文献 3被引用 4

一句话总结

该论文提出了一种知识梯度（KG）策略，用于在昂贵的二元反馈环境下进行序列决策，利用在线贝叶斯逻辑回归指导主动采样。结果表明，KG在早期迭代中始终优于最先进方法，并且在渐近意义上是最优的，且对估计器的一致性和渐近正态性提供了理论保证。

ABSTRACT

We consider the problem of sequentially making decisions that are rewarded by "successes" and "failures" which can be predicted through an unknown relationship that depends on a partially controllable vector of attributes for each instance. The learner takes an active role in selecting samples from the instance pool. The goal is to maximize the probability of success in either offline (training) or online (testing) phases. Our problem is motivated by real-world applications where observations are time-consuming and/or expensive. We develop a knowledge gradient policy using an online Bayesian linear classifier to guide the experiment by maximizing the expected value of information of labeling each alternative. We provide a finite-time analysis of the estimated error and show that the maximum likelihood estimator based produced by the KG policy is consistent and asymptotically normal. We also show that the knowledge gradient policy is asymptotically optimal in an offline setting. This work further extends the knowledge gradient to the setting of contextual bandits. We report the results of a series of experiments that demonstrate its efficiency.

研究动机与目标

• 解决在现实应用中，如药物试验、碳纳米管生产及贷款审批等场景下，昂贵且随机的二元反馈下的序列决策问题。
• 开发一种可扩展的在线贝叶斯线性分类器，以在每次昂贵实验后高效更新信念。
• 设计一种知识梯度策略，通过最大化信息的价值来指导采样决策。
• 为KG策略下的最大似然估计器建立有限时间内的理论保证，包括估计误差、一致性及渐近正态性。
• 将KG框架扩展至上下文Bandit场景，其中部分属性不可控，如医疗决策中的患者特征。

提出的方法

• 使用在线贝叶斯逻辑回归，通过顺序观测递归更新模型参数的后验分布。
• 将知识梯度定义为通过测量每个候选替代方案所能带来的成功概率的期望提升。
• 应用解析近似方法（如拉普拉斯近似）处理逻辑模型中KG计算里不可计算的期望。
• 将KG策略集成到序列决策框架中，通过优先选择具有最高期望信息增益的替代方案，实现探索与利用的平衡。
• 通过将决策策略建模为可控动作与不可控上下文向量的函数，将方法扩展至上下文Bandit问题。
• 在潜在函数上实现并对比基线方法，包括随机采样、最不确定采样、期望改进、Thompson采样和UCB。

实验结果

研究问题

• RQ1 如何设计一种采样策略，在有限的昂贵实验预算下，最大化识别最优替代方案的概率？
• RQ2 当样本通过知识梯度策略自适应选择时，最大似然估计器的理论性质是什么？
• RQ3 在早期性能和收敛性方面，知识梯度策略相较于现有主动学习和贝叶斯优化方法表现如何？
• RQ4 知识梯度能否有效扩展至具有部分可控属性的上下文Bandit问题？
• RQ5 在离线设置下，知识梯度策略是否能达到渐近最优性？其估计模型参数的有限时间误差界是什么？

主要发现

• 在实验预算较小的情况下，知识梯度策略在早期迭代中显著优于随机采样、最不确定采样和期望改进策略。
• 基于KG策略下自适应采样点的最大似然估计器具有一致性与渐近正态性，该结论已在有限时间分析中得到证明。
• KG策略在离线设置下是渐近最优的，即随着实验次数增加，其以高概率收敛至最优决策。
• Thompson采样和期望改进策略表现良好，但被KG超越，尤其在早期学习阶段，原因在于KG显式建模了未来结果的不确定性。
• 基于潜在函数 $\bm{w}^T\bm{x}$ 的UCB策略表现次优，这是由于在非线性变换至概率空间时方差传播发生扭曲。
• 所提方法在高维设置下具有良好的可扩展性，克服了高斯过程贝叶斯优化在此类场景下的局限性。