[论文解读] Logistic Regression: The Importance of Being Improper

Dylan J. Foster, Satyen Kale+3 more|arXiv (Cornell University)|Mar 25, 2018

Advanced Bandit Algorithms Research参考文献 23被引用 13

一句话总结

该论文提出了一种高效的在线逻辑回归不当学习算法，实现了 $ O(d\log(Bn)) $ 的遗憾界，相较于先前关于预测器范数 $ B $ 依赖的遗憾界，实现了双重指数级的改进。通过利用逻辑损失的 1-可混合性，并结合基于 MCMC 的 Vovk 聚合算法，该方法解决了在线 bandit 多分类学习与自适应提升中的开放问题，并实现了最优样本复杂度。

ABSTRACT

Learning linear predictors with the logistic loss---both in stochastic and online settings---is a fundamental task in machine learning and statistics, with direct connections to classification and boosting. Existing "fast rates" for this setting exhibit exponential dependence on the predictor norm, and Hazan et al. (2014) showed that this is unfortunately unimprovable. Starting with the simple observation that the logistic loss is $1$-mixable, we design a new efficient improper learning algorithm for online logistic regression that circumvents the aforementioned lower bound with a regret bound exhibiting a doubly-exponential improvement in dependence on the predictor norm. This provides a positive resolution to a variant of the COLT 2012 open problem of McMahan and Streeter (2012) when improper learning is allowed. This improvement is obtained both in the online setting and, with some extra work, in the batch statistical setting with high probability. We also show that the improved dependence on predictor norm is near-optimal. Leveraging this improved dependency on the predictor norm yields the following applications: (a) we give algorithms for online bandit multiclass learning with the logistic loss with an $ ilde{O}(\sqrt{n})$ relative mistake bound across essentially all parameter ranges, thus providing a solution to the COLT 2009 open problem of Abernethy and Rakhlin (2009), and (b) we give an adaptive algorithm for online multiclass boosting with optimal sample complexity, thus partially resolving an open problem of Beygelzimer et al. (2015) and Jung et al. (2017). Finally, we give information-theoretic bounds on the optimal rates for improper logistic regression with general function classes, thereby characterizing the extent to which our improvement for linear classes extends to other parametric and even nonparametric settings.

研究动机与目标

• 为克服现有在线逻辑回归快速率中对预测器范数 $ B $ 的指数依赖。
• 解决 COLT 2012 开放问题的一个变体，即在不当学习下改进遗憾界。
• 在批量统计设置中提供高概率的过剩风险保证。
• 解决 COLT 2009 关于在线 bandit 多分类学习中相对误判边界的开放问题。
• 设计一种具有最优样本复杂度的自适应多分类提升算法。

提出的方法

• 利用逻辑损失的 1-可混合性，通过 Vovk 的聚合算法实现高效的不当学习。
• 使用基于 MCMC 的采样方法（如投影 Langevin 蒙特卡洛）在多项式时间内近似聚合预测分布。
• 应用改进的“提升置信度”方案，将在线遗憾界转换为批量设置下的高概率过剩风险界。
• 采用序列对称化与链式论证，将结果推广至任意函数类。
• 通过蒙特卡洛采样权重的平滑经验预测，近似不当预测器。
• 利用 Chernoff-Hoeffding 不等式与总变差控制，确保采样误差带来的过剩损失有界。

实验结果

研究问题

• RQ1 能否改进在线逻辑回归遗憾界中对预测器范数 $ B $ 的指数依赖？
• RQ2 是否可能在使用逻辑损失的情况下，于所有参数范围内实现 $ \tilde{O}(\sqrt{n}) $ 的相对误判边界？
• RQ3 能否设计一种具有最优样本复杂度的自适应多分类提升算法？
• RQ4 在一般函数类中，不当逻辑回归对预测器范数 $ B $ 的最优依赖关系是什么？
• RQ5 能否通过不当学习的在线到批量转换，在批量设置中实现高概率的过剩风险界？

主要发现

• 所提算法实现了 $ O(d\log(Bn)) $ 的遗憾界，相较于 Online Newton Step 的 $ O(de^B\log n) $ 边界，实现了双重指数级改进。
• 该算法通过在所有参数范围内实现 $ \tilde{O}(\sqrt{n}) $ 的相对误判边界，解决了 COLT 2009 开放问题。
• 开发了一种具有最优样本复杂度的自适应多分类提升算法，部分解决了 Beygelzimer 等人（2015）与 Jung 等人（2017）的开放问题。
• 通过改进的“提升置信度”技术，在批量设置中实现了 $ O(d\log(Bn)/n) $ 的高概率过剩风险界。
• 下界结果表明，对预测器范数 $ B $ 的 $ \log(B) $ 依赖无法进一步改进，证实了结果的近似最优性。
• 通过序列度量熵对任意函数类的推广进行了刻画，表明改进程度由类的序列复杂度决定。