[论文解读] Asymptotic Convergence in Online Learning with Unbounded Delays

Scott Garrabrant, Nate Soares+1 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Bandit Algorithms Research参考文献 17被引用 6

一句话总结

本文提出 EvOp 算法，用于处理反馈延迟无界的在线学习问题，通过在稀疏且相互独立的子序列上评估预测者，实现对贝叶斯最优预测的收敛。尽管在此类设置下一致性与平均遗憾收敛性不可能实现，EvOp 仍能确保在任意专家做出贝叶斯最优预测的子序列上渐近收敛至最优行为，仅提供了非常微弱的收敛界。

ABSTRACT

We study the problem of predicting the results of computations that are too expensive to run, via the observation of the results of smaller computations. We model this as an online learning problem with delayed feedback, where the length of the delay is unbounded, which we study mainly in a stochastic setting. We show that in this setting, consistency is not possible in general, and that optimal forecasters might not have average regret going to zero. However, it is still possible to give algorithms that converge asymptotically to Bayes-optimal predictions, by evaluating forecasters on specific sparse independent subsequences of their predictions. We give an algorithm that does this, which converges asymptotically on good behavior, and give very weak bounds on how long it takes to converge. We then relate our results back to the problem of predicting large computations in a deterministic setting.

研究动机与目标

• 解决反馈延迟无界的在线学习问题，即反馈可能在任意长的时间间隔后到达。
• 形式化预测大规模计算任务的挑战，其中训练数据来自更小规模但延迟的计算。
• 表明在该设置下，标准性能度量（如一致性与平均遗憾）是不足的。
• 设计一种算法，使预测在专家为贝叶斯最优的子序列上渐近收敛至贝叶斯最优预测。
• 将随机性结果与使用算法随机性预测大规模确定性计算联系起来。

提出的方法

• EvOp 并非在所有预测上评估预测者，而是通过函数 h 与增长函数 g 的复合，选择稀疏且相互独立的预测子序列进行评估。
• 该算法使用测试序列函数 testseq_n(j, z, m) 识别预测者可能显著偏离的候选预测点。
• 在每个时间步计算预测者之间的最大得分，并与阈值比较以判断收敛性。
• 通过损失函数的强凸性与Lipschitz连续性导出的指数尾部界，利用概率偏差界证明收敛性。
• 该方法依赖于稀疏子序列构造，以确保独立性并避免对延迟反馈的过拟合。
• 利用从偏差概率指数衰减中推导出的收敛时间弱界，建立渐近收敛性。

实验结果

研究问题

• RQ1 当反馈延迟无界时，在线学习算法能否实现一致性或平均遗憾趋于零？
• RQ2 是否可以设计一种算法，在延迟无界的条件下收敛至贝叶斯最优预测？
• RQ3 在反馈延迟无界的在线学习中，由于平均遗憾可能不会收敛至零，哪些性能度量是有意义的？
• RQ4 当反馈无限期延迟时，如何识别并评估预测者在有意义且相互独立的子序列上的表现？
• RQ5 能否将随机设置下的结果有意义地关联到大规模确定性计算的预测？

主要发现

• 在反馈延迟无界的在线学习中，一致性与平均遗憾通常不可实现，即使对最优预测者亦然。
• 即使是最优预测者，其平均遗憾也可能不收敛至零，因此在此设置下标准性能度量无效。
• EvOp 在任意专家做出贝叶斯最优预测的子序列上渐近收敛至贝叶斯最优预测。
• 该算法通过在稀疏且相互独立的预测子序列上评估预测者，避免了延迟反馈带来的陷阱。
• 收敛界极为微弱，源自对得分偏差的概率指数尾部界，但仍足以保证渐近最优性。
• 该框架为通过识别随机模型中的规律子序列来预测大规模确定性计算提供了基础。