[论文解读] Online Nonparametric Regression with General Loss Functions

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Jan 26, 2015

Advanced Bandit Algorithms Research参考文献 33被引用 8

一句话总结

本文为具有通用凸 Lipschitz 损失函数的在线非参数回归建立了极小极大后悔率，表明后悔率取决于损失函数的曲率以及函数类在某一阈值以下的序列复杂度，而在此阈值以上曲率的影响变得无关。当序列复杂度与 i.i.d. 复杂度一致时，该研究推导出与统计学习率匹配的最优率，并提出一种通用且计算高效的预测器，适用于有限专家和线性回归问题，可实现这些最优率。

ABSTRACT

This paper establishes minimax rates for online regression with arbitrary classes of functions and general losses. We show that below a certain threshold for the complexity of the function class, the minimax rates depend on both the curvature of the loss function and the sequential complexities of the class. Above this threshold, the curvature of the loss does not affect the rates. Furthermore, for the case of square loss, our results point to the interesting phenomenon: whenever sequential and i.i.d. empirical entropies match, the rates for statistical and online learning are the same. In addition to the study of minimax regret, we derive a generic forecaster that enjoys the established optimal rates. We also provide a recipe for designing online prediction algorithms that can be computationally efficient for certain problems. We illustrate the techniques by deriving existing and new forecasters for the case of finite experts and for online linear regression.

研究动机与目标

• 为任意函数类和通用凸 Lipschitz 损失函数下的在线非参数回归建立极小极大后悔率。
• 刻画损失函数曲率与序列复杂度在决定后悔率增长中的相互作用。
• 证明当序列复杂度与 i.i.d. 经验熵一致时，在线学习与统计学习的后悔率完全一致。
• 设计一种通用且计算高效的预测器，以实现最优后悔率。
• 为构建特定问题（如有限专家和线性回归）的高效在线预测算法提供方法论。

提出的方法

• 使用尺度 β 下的序列熵作为函数类 F 的复杂度度量，其行为为 O(β⁻ᵖ)，其中 p > 0。
• 利用序列 Rademacher 复杂度和序列 fat-shattering 维数推导后悔率的上下界。
• 采用一种新颖的基于对偶的分析方法，结合损失函数的共轭函数和广义二项式展开，以控制次梯度增长。
• 通过在 γ 和 λ 参数上进行优化，平衡涉及 G（损失范围）、K（曲率）和 n（时间范围）的项之间的权衡。
• 提出一种基于最小化带正则化经验风险的通用预测器，其更新方式类似于 Bregman 散度。
• 利用广义二项定理界定向损失的二阶展开，从而实现对 q-损失（q ∈ (1,2)）的曲率分析。

实验结果

研究问题

• RQ1 一般凸损失函数的曲率如何影响在线非参数回归中的极小极大后悔率？
• RQ2 后悔率对函数类 F 的序列复杂度的精确依赖关系是什么？
• RQ3 在何种条件下，在线学习与 i.i.d. 统计学习能达到相同的后悔率？
• RQ4 能否设计一种单一通用预测器，在多种函数类和损失函数下均实现最优率？
• RQ5 如何平衡曲率与复杂度，以设计计算高效的在线算法？

主要发现

• 对于绝对损失，当 p ∈ (0,2) 时，后悔率以 n¹ᐟ² 增长；当 p > 2 时，以 n¹⁻¹ᐟᵖ 增长，与先前研究结果一致。
• 对于平方损失，当 p ∈ (0,2) 时，后悔率以 n¹⁻²ᐟ⁽²⁺ᵖ⁾ 增长；当 p > 2 时，以 n¹⁻¹ᐟᵖ 增长，其中曲率在 p ∈ (0,2) 阶段起关键作用。
• 当序列复杂度与 i.i.d. 经验熵一致时，在线后悔率与统计学习理论中基于 i.i.d. 数据的最优率完全一致。
• 对于 p > 2（丰富类），平方损失与绝对损失的后悔率均为 n¹⁻¹ᐟᵖ，表明在此范围内损失的强凸性不影响速率。
• 所提出的通用预测器实现了已建立的最优后悔率，其显式界通过序列 Rademacher 复杂度与曲率分析推导得出。
• 对于 q ∈ (1,2) 的 q-损失，损失是强凸的，参数为 q(q−1)/2，且损失二阶展开的上界为 2q(q−1)x²，从而实现紧密的后悔控制。