[论文解读] Online Learning with Abstention

Corinna Cortes, Giulia DeSalvo+3 more|arXiv (Cornell University)|Mar 9, 2017

Advanced Bandit Algorithms Research参考文献 19被引用 9

一句话总结

本文提出 ucb-gt，一种新颖的在线学习算法，具备拒绝对预测（abstention）功能，通过利用时变反馈图和历史数据，在随机设置下显著提升了遗憾保证。其性能优于 ucb-n 的标准扩展，接近全信息基线模型，在多个数据集和拒绝对成本下均展现出显著的实证优势。

ABSTRACT

We present an extensive study of the key problem of online learning where algorithms are allowed to abstain from making predictions. In the adversarial setting, we show how existing online algorithms and guarantees can be adapted to this problem. In the stochastic setting, we first point out a bias problem that limits the straightforward extension of algorithms such as UCB-N to time-varying feedback graphs, as needed in this context. Next, we give a new algorithm, UCB-GT, that exploits historical data and is adapted to time-varying feedback graphs. We show that this algorithm benefits from more favorable regret guarantees than a possible, but limited, extension of UCB-N. We further report the results of a series of experiments demonstrating that UCB-GT largely outperforms that extension of UCB-N, as well as more standard baselines.

研究动机与目标

• 解决在线学习中拒绝对预测的挑战，即学习者可选择以代价放弃预测，且在拒绝对时仅获得部分反馈。
• 克服将标准随机多臂赌博机算法（如 ucb-n）扩展至拒绝对设置时产生的偏差问题。
• 设计一种新算法 ucb-gt，利用时变反馈图和历史数据以改善遗憾性能。
• 在拒绝对框架下，为对抗性和随机设置提供理论遗憾保证。
• 通过实证验证 ucb-gt 在多样化数据集和拒绝对成本下，相较于 ucb-n 和其他基线模型的优越性。

提出的方法

• 提出 ucb-gt，一种基于历史数据和时变专家行为动态构建反馈图的随机多臂赌博机算法。
• 使用针对拒绝对损失量身定制的代理损失函数，在保持部分可观察性的同时实现高效学习。
• 整合成对预测器和拒绝对函数的专家建议，其中每位专家由一个假设和一个拒绝阈值定义。
• 采用随时间演变的反馈图结构，反映哪些专家处于活跃状态及其损失如何被观测。
• 应用在线学习中的反馈图框架，将其适配至拒绝对决策的时变特性。
• 通过代理损失和部分反馈，将 ContextualExp3 扩展至拒绝对设置，在对抗性环境中实现遗憾界。

实验结果

研究问题

• RQ1 现有在线学习算法如何被调整以处理具有部分反馈的拒绝对选项？
• RQ2 在对抗性和随机设置下，拒绝对在线学习的理论遗憾保证是什么？
• RQ3 为何 ucb-n 的直接扩展在随机设置下会失败，这种偏差如何被纠正？
• RQ4 能否利用时变反馈图来提升拒绝对在线学习中的性能？
• RQ5 ucb-gt 在多样化数据集和拒绝对成本下，与 ucb-n 及其他基线模型相比表现如何？

主要发现

• ucb-gt 在所有测试数据集（包括 HIGGS、phishing、ijcnn、covtype、eye、skin、cod-rna、guide 和 CIFAR）上均显著优于 ucb-nt 和原始 ucb。
• ucb-gt 的遗憾始终接近全信息基线（fs），表明其在实践中接近最优性能。
• ucb-gt 的反馈图中边数在 100 万至 300 万之间，至少是 ucb-nt 的约 20 万条边的五倍，有助于更优的信息共享。
• 随着拒绝对成本增加，所选专家拒绝对的样本比例按预期下降，且该行为在各数据集中保持一致。
• ucb-gt 在不同专家配置下（包括基于置信度的专家及极端拒绝对成本，如 c=0.001 和 c=0.9）均保持强大性能。
• 该算法对专家数量和数据集特性的变化具有鲁棒性，且在所有附加实验中，ucb-gt 均持续优于 ucb-nt。