[论文解读] Logistic Regression: Tight Bounds for Stochastic and Online Optimization

Elad Hazan, Tomer Koren+1 more|arXiv (Cornell University)|May 15, 2014

Advanced Bandit Algorithms Research参考文献 8被引用 34

一句话总结

本文建立了随机和在线逻辑回归收敛速率的紧下界，表明在次指数迭代次数下，无法在Hinge损失等非光滑损失上实现改进。该工作通过证明即使使用二阶方法，逻辑损失也无法实现快于$\widetilde{O}(D/\sqrt{T})$的多项式在$D$中的速率，从而解决了COLT 2012年开放问题，原因在于损失曲面中固有的几何约束。

ABSTRACT

The logistic loss function is often advocated in machine learning and statistics as a smooth and strictly convex surrogate for the 0-1 loss. In this paper we investigate the question of whether these smoothness and convexity properties make the logistic loss preferable to other widely considered options such as the hinge loss. We show that in contrast to known asymptotic bounds, as long as the number of prediction/optimization iterations is sub exponential, the logistic loss provides no improvement over a generic non-smooth loss function such as the hinge loss. In particular we show that the convergence rate of stochastic logistic optimization is bounded from below by a polynomial in the diameter of the decision set and the number of prediction iterations, and provide a matching tight upper bound. This resolves the COLT open problem of McMahan and Streeter (2012).

研究动机与目标

• 确定逻辑损失的光滑性和严格凸性是否能在随机和在线设置下，使收敛速率优于Hinge损失等非光滑替代方案。
• 解决McMahan和Streeter（2012年）提出的COLT 2012年开放问题，即在多维在线逻辑回归中是否存在$\text{poly}(D)$的 regret 边界。
• 在现实的次指数迭代次数下，刻画逻辑回归收敛和 regret 速率的最紧可能界限。
• 分析决策集直径$D$在限制二阶优化方法在逻辑损失上性能方面的作用。

提出的方法

• 通过构建一个精心设计的数据实例分布，使损失函数在最优解附近近乎线性，推导出随机逻辑优化收敛速率的下界。
• 应用 exp-concavity 概念，并利用逻辑损失的 Hessian 与梯度之间的关系，对曲率特性进行界定。
• 使用逻辑损失函数的分段二次逼近，构造一个保持不同$ x_t w_t $符号区域下关键特性的下界代理损失。
• 采用约化论证，表明任何实现$\widetilde{O}(\text{poly}(D)/T)$速率的算法都将与推导出的$\Omega(\sqrt{D/T})$下界矛盾。
• 分别分析一维和多维设置，揭示在$n=1$与$n\geq2$之间存在最优收敛速率的相变。
• 通过随机梯度下降证明匹配的上界，表明在多维情况下，$O(D/\sqrt{T})$速率在$\sqrt{D}$因子内是紧的。

实验结果

研究问题

• RQ1 逻辑损失的光滑性和严格凸性是否能在随机优化中使收敛速率优于Hinge损失等非光滑损失？
• RQ2 McMahan和Streeter（2012年）所推测的连续标签在线逻辑回归设置中，是否存在形式为$O(\text{poly}(D)\log T)$的 regret 边界？
• RQ3 当迭代次数$T$在直径$D$下为次指数时，随机逻辑回归的最紧可能收敛速率是什么？
• RQ4 问题的维度（$n=1$ 与 $n\geq2$）是否会导致最优收敛速率的根本性相变？
• RQ5 像 Online Newton Step 这类二阶方法在逻辑回归中是否真正具有优势，还是其性能受$D$的指数依赖所限制？

主要发现

• 随机逻辑优化的收敛速率下界为$\Omega(\sqrt{D/T})$，与随机梯度下降的速率在$\sqrt{D}$因子内一致，表明光滑性并未带来改进。
• 在多维情形（$n\geq2$）下，最优收敛速率为$\Theta(D/\sqrt{T})$，除非$T$在$D$上为指数级大，否则无法实现$\widetilde{O}(\text{poly}(D)/T)$的速率。
• 在一维逻辑回归（$n=1$）情形下，最优收敛速率为$\Theta(T^{-2/3})$，表明收敛行为随维度变化存在相变。
• 本文通过证明在一般多维在线设置下，连续标签中不存在$O(\text{poly}(D)\log T)$的 regret 边界，从而解决了COLT 2012年开放问题。
• 分析表明，先前工作中依赖数据的参数（如Bach和Moulines，2013年的$\rho$）在最坏情况下必须在$D$上指数级大，从而否定了实际快速速率的可行性。
• 下界适用于$T = O(e^D$的区间，对应于实际相关的次指数迭代次数，与假设$T \to \infty$的渐近界形成对比。