[论文解读] Competitive on-line learning with a convex loss function

Vladimir Vovk|ArXiv.org|Jun 11, 2005

Advanced Bandit Algorithms Research参考文献 21被引用 18

一句话总结

本文提出了一种针对不确定环境下序列决策问题的竞争力在线学习算法，采用防御性预测和再生核希尔伯特空间中的期望损失最小化，损失函数为凸函数。结果表明，主算法的平均损失仅比具有有界范数的最佳决策规则高出 O(N⁻¹/²)，将先前在有限维基准类上的结果扩展至无限维基准类，且无需分布假设。

ABSTRACT

We consider the problem of sequential decision making under uncertainty in which the loss caused by a decision depends on the following binary observation. In competitive on-line learning, the goal is to design decision algorithms that are almost as good as the best decision rules in a wide benchmark class, without making any assumptions about the way the observations are generated. However, standard algorithms in this area can only deal with finite-dimensional (often countable) benchmark classes. In this paper we give similar results for decision rules ranging over an arbitrary reproducing kernel Hilbert space. For example, it is shown that for a wide class of loss functions (including the standard square, absolute, and log loss functions) the average loss of the master algorithm, over the first $N$ observations, does not exceed the average loss of the best decision rule with a bounded norm plus $O(N^{-1/2})$. Our proof technique is very different from the standard ones and is based on recent results about defensive forecasting. Given the probabilities produced by a defensive forecasting algorithm, which are known to be well calibrated and to have good resolution in the long run, we use the expected loss minimization principle to find a suitable decision.

研究动机与目标

• 将竞争力在线学习扩展至无限维基准类，特别是再生核希尔伯特空间，超越以往局限于有限或有限维类的研究。
• 开发一种决策算法，相对于广泛类别的最佳决策规则实现近似最优性能，且不假设数据生成过程的任何概率模型。
• 建立与具有有界范数的最佳决策规则相比，平均损失的理论遗憾界为 O(N⁻¹/²)。
• 提出一种基于防御性预测和期望损失最小化的新型证明技术，与文献中标准方法不同。
• 将结果推广至更广泛的损失函数，包括平方损失、绝对损失和对数损失，并探讨在非二元观测和非凸博弈中的扩展。

提出的方法

• 使用防御性预测生成校准良好、分辨率优化的概率，并用于最小化期望损失。
• 应用期望损失最小化原理，从预测概率推导决策规则，确保竞争力表现。
• 采用规范选择函数 G(p,q) 将预测概率映射为决策，针对平方、绝对和对数损失函数给出具体形式。
• 在第7节中推导出显式决策算法，通过求解涉及暴露项和核函数的方程组来计算决策 γₙ。
• 利用基本恒等式 (23) 将损失函数与其在概率预测下的期望值联系起来，从而构建损失最小化策略。
• 依赖第6节中基于防御性预测结果的新型证明框架，建立 O(N⁻¹/²) 遗憾界，无需假设 i.i.d. 数据或有限基准类。

实验结果

研究问题

• RQ1 竞争力在线学习能否扩展至无限维基准类，如再生核希尔伯特空间？
• RQ2 在无分布假设下，针对凸损失函数的在线决策问题，最优遗憾界是什么？
• RQ3 如何将防御性预测与期望损失最小化相结合，以构建竞争力决策算法？
• RQ4 该类算法的 O(N⁻¹/²) 遗憾界是否紧致？能否推广至非二元或多元观测场景？
• RQ5 当前方法在非凸或非连续决策空间中的局限性是什么？随机化在这些情况下如何发挥作用？

主要发现

• 主算法在前 N 次观测中的平均损失，最多比具有有界范数的最佳决策规则的平均损失高出 O(N⁻¹/²)。
• 该遗憾界适用于广泛的凸损失函数，包括平方损失、绝对损失和对数损失，且不依赖于数据生成过程的任何假设。
• 所提出的算法通过防御性预测与期望损失最小化的创新结合，实现该性能保证，区别于标准技术。
• 决策算法在第7节中显式构造，通过在包含核函数评估和暴露项的函数上进行根查找过程实现。
• 该证明依赖于一个基本恒等式 (23)，将损失函数与其在概率预测下的期望值联系起来，从而推导出遗憾界。
• 该框架可推广至非二元观测和非凸博弈，随机化在如简单损失博弈等情形中被证明对破除平局有效。