[论文解读] Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles

Sanath Kumar Krishnamurthy, Vitor Hadad+1 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Bandit Algorithms Research参考文献 16被引用 4

一句话总结

该论文提出了一种上下文Bandit算法，通过在检测到高模型误设误差时回退到安全策略，实现对模型误设的自适应。该算法仅使用离线回归预言机，避免了对复杂预言机或主算法的需求，并实现了随误设水平增加而平滑退化的遗憾保证。

ABSTRACT

Computationally efficient contextual bandits are often based on estimating a predictive model of rewards given contexts and arms using past data. However, when the reward model is not well-specified, the bandit algorithm may incur unexpected regret, so recent work has focused on algorithms that are robust to misspecification. We propose a simple family of contextual bandit algorithms that adapt to misspecification error by reverting to a good safe policy when there is evidence that misspecification is causing a regret increase. Our algorithm requires only an offline regression oracle to ensure regret guarantees that gracefully degrade in terms of a measure of the average misspecification level. Compared to prior work, we attain similar regret guarantees, but we do no rely on a master algorithm, and do not require more robust oracles like online or constrained regression oracles (e.g., Foster et al. (2020a); Krishnamurthy et al. (2020)). This allows us to design algorithms for more general function approximation classes.

研究动机与目标

• 解决在奖励模型误设时（尤其是在线性或参数化模型中）上下文Bandit算法性能下降的问题。
• 克服基于可实现性的算法（如FALCON+和LinUCB）在误设下可能出现的不稳定行为和遗憾增加的局限性。
• 设计一种计算高效的算法，即使真实奖励函数不在假设函数类中，也能保持强遗憾保证。
• 通过仅使用标准离线回归预言机，消除对专用预言机（如在线、约束或鲁棒回归预言机）的依赖。
• 通过将算法与预言机鲁棒性假设解耦，实现对一般函数逼近类的更广泛应用。

提出的方法

• 引入一类上下文Bandit算法，通过监控离线回归预言机预测的质量来检测模型误设误差的增加。
• 当模型预测误差超过阈值时，算法回退到安全策略（如均匀策略或行为策略），以防止对错误估计的利用。
• 使用基于置信度的机制动态调整探索与利用，仅依赖离线回归预言机进行奖励预测。
• 定义一种平均误设误差度量，量化真实奖励函数与模型类之间的偏离程度，该度量直接影响遗憾界。
• 确保遗憾保证随误设程度增加而平滑退化，即使在模型未被良好指定时也能保持性能。
• 避免使用主算法或复杂优化层，转而依赖仅基于标准回归预言机的简单、模块化设计。

实验结果

研究问题

• RQ1 上下文Bandit算法如何在假设奖励模型误设时仍能保持性能？
• RQ2 是否可以在不依赖鲁棒或约束回归预言机或主算法的情况下，仍保持遗憾保证？
• RQ3 模型误设对现有基于可实现性的算法（如FALCON+）的收敛性和稳定性有何影响？
• RQ4 如何基于预测误差增加的证据，动态触发安全策略？
• RQ5 仅使用离线回归预言机的简单、模块化设计，能否在一般函数类中实现对误设的鲁棒性？

主要发现

• 所提出的Safe-FALCON算法成功缓解了FALCON+在模型误设下出现的振荡式遗憾行为，实现了随时间推移的性能稳定。
• 该算法实现了随平均误设误差增加而平滑退化的遗憾界，即使真实奖励函数非线性，也能保持鲁棒性。
• 通过在检测到误设时回退到安全策略，该算法避免了基于可实现性的方法所面临的数据偏移和不稳定性问题。
• 该方法保持了强大的计算效率，且无需额外预言机，仅依赖标准离线回归，优于以往的鲁棒方法。
• 实验结果表明，该算法避免了FALCON+中观察到的高遗憾峰值和振荡，尤其在模型漂移发生后的后期阶段表现更优。
• 遗憾界与误设水平的平方根成比例，清晰地揭示了模型精度与性能退化之间的权衡。