[论文解读] Efficient Elastic Net Regularization for Sparse Linear Models

Zachary C. Lipton, Charles Elkan|arXiv (Cornell University)|May 24, 2015

Sparse and Compressive Sensing Techniques参考文献 12被引用 4

一句话总结

本文提出了一种基于动态规划的方法，用于在稀疏线性模型中高效实现弹性网络正则化，实现了 ℓ²₂ 和弹性网络惩罚项的常数时间闭式更新。通过利用稀疏性，延迟更新非零特征，该方法在大规模生物医学文本数据集上的速度相比标准密集更新提升了超过2000倍。

ABSTRACT

This paper presents an algorithm for efficient training of sparse linear models with elastic net regularization. Extending previous work on delayed updates, the new algorithm applies stochastic gradient updates to non-zero features only, bringing weights current as needed with closed-form updates. Closed-form delayed updates for the $\ell_1$, $\ell_{\infty}$, and rarely used $\ell_2$ regularizers have been described previously. This paper provides closed-form updates for the popular squared norm $\ell^2_2$ and elastic net regularizers. We provide dynamic programming algorithms that perform each delayed update in constant time. The new $\ell^2_2$ and elastic net methods handle both fixed and varying learning rates, and both standard {stochastic gradient descent} (SGD) and {forward backward splitting (FoBoS)}. Experimental results show that on a bag-of-words dataset with $260,941$ features, but only $88$ nonzero features on average per training example, the dynamic programming method trains a logistic regression classifier with elastic net regularization over $2000$ times faster than otherwise.

研究动机与目标

• 开发一种高效算法，用于训练具有弹性网络正则化的稀疏线性模型，其计算复杂度随非零特征数而非完整维度增长。
• 将先前针对 ℓ₁ 和 ℓ∞ 范数的闭式延迟更新方法扩展至广泛使用的 ℓ²₂ 和弹性网络正则化器。
• 在随机梯度下降和前向-后向分裂（FoBoS）中同时支持固定和递减学习率，同时保持常数时间更新复杂度。
• 证明在梯度计算和正则化更新过程中均利用稀疏性可显著提升真实数据集中的性能表现。

提出的方法

• 该方法使用动态规划计算 ℓ²₂ 和弹性网络正则化器的闭式、常数时间更新，即使在学习率变化时也适用。
• 通过维护累积项（如 Φ(t) 和 β(t)）的运行状态，避免在时间步长上重复计算乘积和求和。
• 仅更新每个稀疏样本中的非零特征，必要时通过预计算公式将权重更新至最新状态。
• 该算法支持标准 SGD 和 FoBoS，延迟更新仅应用于活跃特征。
• 动态规划状态在每个时间步长上逐步更新，确保每次更新的复杂度为 O(1)。
• 一种空间高效变体定期将所有权重同步至最新状态，将成本分摊到多个更新中，避免内存过度使用。

实验结果

研究问题

• RQ1 在随机优化中，对于变化的学习率，是否可以为 ℓ²₂ 和弹性网络正则化器推导出闭式、常数时间的更新公式？
• RQ2 在数据稀疏性与正则化更新的稀疏感知性相结合时，能获得多大的性能提升？
• RQ3 所提出的动态规划方法是否在显著减少训练时间的同时保持数值稳定性和正确性？
• RQ4 该方法在高维稀疏数据集（如词袋文本表示）上的实际可扩展性如何？

主要发现

• 在包含100万篇文档和260,941个特征的词袋数据集上，所提方法训练带有弹性网络正则化的逻辑回归分类器，其速度比标准密集更新快2000多倍。
• 即使在两种方法都利用稀疏性进行预测的情况下，懒更新方法仍比非懒惰基线快1400倍。
• 动态规划方法实现了每个特征的常数时间更新，空间复杂度为 O(T)，但由于定期权重同步，摊销时间成本可忽略不计。
• 该方法在合成数据集上正确复现了与标准 FoBoS 相同的模型权重，验证了其正确性。
• 该加速效果在 SGD 和 FoBoS 优化方案中均表现稳健，证明了其广泛适用性。
• 动态规划计算的开销并未抵消稀疏性的优势，确认该方法既高效又实用。