[论文解读] Efficient improper learning for online logistic regression

Rémi Jézéquel, Pierre Gaillard+1 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 6

一句话总结

该论文提出 AIOLI，一种针对逻辑回归的高效非正规在线学习算法，其遗憾（regret）规模为 $O(B\log(Bn))$，每轮计算复杂度为 $O(d^2 + \log n)$，避免了正规算法中固有的 $B$ 的指数依赖。通过结合 FTRL 与代理损失函数，并采用受 Vovk 聚合算法启发的非正规正则化策略，该方法在不牺牲计算可行性的前提下，实现了在线设置下的实际性对数遗憾。

ABSTRACT

We consider the setting of online logistic regression and consider the regret with respect to the 2-ball of radius B. It is known (see [Hazan et al., 2014]) that any proper algorithm which has logarithmic regret in the number of samples (denoted n) necessarily suffers an exponential multiplicative constant in B. In this work, we design an efficient improper algorithm that avoids this exponential constant while preserving a logarithmic regret. Indeed, [Foster et al., 2018] showed that the lower bound does not apply to improper algorithms and proposed a strategy based on exponential weights with prohibitive computational complexity. Our new algorithm based on regularized empirical risk minimization with surrogate losses satisfies a regret scaling as O(B log(Bn)) with a per-round time-complexity of order O(d^2).

研究动机与目标

• 解决正规在线逻辑回归算法中遗憾界对 $B$ 的指数依赖问题，该问题在已知下界约束下不可避免。
• 设计一种实用算法，实现在 $n$ 上对数遗憾缩放，同时避免正规方法中常见的 $B$ 的指数依赖。
• 通过降低计算复杂度，弥合理论上最优的非正规算法（如 Vovk 的聚合算法）与实际实现之间的差距。
• 将非正规学习的适用范围扩展至在线逻辑回归，并提供可证明的高效性能。
• 为现有计算复杂度过高（如依赖 MCMC 采样）的非正规算法提供计算上可行的替代方案。

提出的方法

• 该算法使用带代理损失的 Follow-The-Regularized-Leader (FTRL)，以实现高效的在线更新。
• 引入一种受 Azoury-Warmuth-Vovk 预报器启发的非正规正则化策略，允许预测值超出半径为 $B$ 的标准 $\ell_2$-球。
• 代理损失函数被构造为保持强凸性并适应曲率变化，从而实现更紧的遗憾界。
• 该算法的更新规则源自带精心设计的非正规正则化项的正则化经验风险最小化。
• 每轮计算复杂度保持在 $O(d^2 + \log n)$，通过低秩更新和 FTRL 框架中的数值稳定性实现。
• 通过使用指数权重的闭式近似，避免了 MCMC 采样，从而支持实际部署。

实验结果

研究问题

• RQ1 能否设计一种非正规在线学习算法，在在线逻辑回归中实现 $O(B\log(Bn))$ 的遗憾，且每轮计算复杂度为多项式时间？
• RQ2 是否可能在保持 $n$ 上对数缩放的同时，消除遗憾界中对 $B$ 的指数依赖？
• RQ3 如何在不牺牲遗憾保证的前提下，降低现有非正规算法（如基于 MCMC 采样的方法）的计算复杂度？
• RQ4 代理损失设计在实现高效、非正规在线学习中扮演何种角色，特别是在处理非线性、类非凸损失（如逻辑损失）时？
• RQ5 在 $B$ 有界的对抗性在线设置中，FTRL 搭配非正规正则化是否能优于标准正规算法？

主要发现

• 所提出的 AIOLI 算法实现了 $O(B\log(Bn))$ 的遗憾界，该结果在对数因子范围内最优，且避免了正规方法中常见的 $e^B$ 依赖。
• 每轮计算复杂度为 $O(d^2 + \log n)$，显著优于以往非正规方法所需的 $O(B^6 n^{12}(Bn + d)^{12})$ 时间。
• 仿真结果证实，AIOLI 在 $n$ 上实现多对数遗憾增长，优于采用 $\ell_2$-正则化的标准 FTRL（后者表现出多项式遗憾）。
• 即使在针对正规方法局限性而设计的对抗性数据分布下，该算法仍保持强劲性能，符合 Hazan 等人（2014）的下界设定。
• 该方法可适用于 RKHS 中的非参数逻辑回归，但若无近似技术，计算成本可能升至 $O(n^3)$。
• 理论分析可扩展至具有自适应曲率参数的非正规学习场景，表明其在非线性模型外的更广泛应用潜力。