[论文解读] Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms

Jialei Wang, Lin Xiao|arXiv (Cornell University)|Mar 7, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用 10

一句话总结

该论文提出了一类自适应原始-对偶一阶算法，利用数据中固有的强凸性来加速线性预测器的收敛，而无需显式正则化。通过根据数据结构动态调整步长，该方法在无显式正则化的情况下仍能实现线性收敛，其迭代复杂度取决于数据相关的强凸性参数（如数据矩阵的最小奇异值）。

ABSTRACT

We consider empirical risk minimization of linear predictors with convex loss functions. Such problems can be reformulated as convex-concave saddle point problems, and thus are well suitable for primal-dual first-order algorithms. However, primal-dual algorithms often require explicit strongly convex regularization in order to obtain fast linear convergence, and the required dual proximal mapping may not admit closed-form or efficient solution. In this paper, we develop both batch and randomized primal-dual algorithms that can exploit strong convexity from data adaptively and are capable of achieving linear convergence even without regularization. We also present dual-free variants of the adaptive primal-dual algorithms that do not require computing the dual proximal mapping, which are especially suitable for logistic regression.

研究动机与目标

• 解决原始-对偶算法在无显式正则化时难以实现线性收敛的局限性。
• 利用数据诱导的强凸性（例如通过数据矩阵的最小奇异值）来加速收敛，而无需修改目标函数。
• 设计适用于批量和随机设置的原始-对偶算法，自适应地利用数据结构以实现更快收敛。
• 提出无需对偶近端映射的变体，尤其适用于逻辑回归等对偶近端映射计算昂贵的场景。
• 实现依赖于数据相关强凸性参数的线性收敛速率，而非依赖用户设定的正则化参数。

提出的方法

• 通过拉格朗日对偶公式，将经验风险最小化问题重新表述为凸-凹鞍点问题。
• 设计自适应原始-对偶算法，其中步长根据数据相关的强凸性参数（如 δ 和 μ）进行调整。
• 引入参数更新规则，通过数据矩阵 A 的最小奇异值 μ 反映数据诱导的强凸性。
• 通过改进的更新策略消除对偶近端映射的需求，从而设计出无需对偶近端映射的变体。
• 采用精心选择参数（τ, σ, α）的李雅普诺夫函数分析，证明在数据诱导强凸性下可实现线性收敛。
• 建立收敛速率依赖于有效条件数 R²/(γ(λ + δμ²/n)) 的结果，而非标准形式 R²/(γλ)，从而优于非自适应方法。

实验结果

研究问题

• RQ1 原始-对偶一阶算法能否通过利用数据诱导的强凸性，在无显式正则化的情况下实现线性收敛？
• RQ2 如何利用数据矩阵的最小奇异值 μ 来自适应地设置算法参数以实现更快收敛？
• RQ3 当强凸性源于数据而非正则化时，原始-对偶算法的收敛速率如何？
• RQ4 能否设计出避免昂贵对偶近端映射的无对偶变体，同时保持线性收敛？
• RQ5 在无显式正则化的情况下，通过利用数据诱导的强凸性，条件数最多可改善多少？

主要发现

• 所提出的自适应原始-对偶算法在数据矩阵表现出强凸性（即 μ > 0）时，即使无显式正则化，也能实现线性收敛。
• 迭代复杂度为 O((n + √n R / √(γ(λ + δμ²/n))) log(1/ε))，通过引入数据相关的强凸性，优于标准方法。
• 无对偶变体避免了对偶近端映射的计算，特别适用于对偶近端映射难以计算的逻辑回归场景。
• 收敛速率依赖于有效条件数 R²/(γ(λ + δμ²/n))，当 μ 较大时，该值可显著小于 R²/(γλ)。
• 通过调整以反映数据诱导强凸性的参数的李雅普诺夫函数分析，证明了在弱假设下算法可实现线性收敛。
• 数值结果（由理论分析推断）表明，当数据表现出强凸性时，即使无显式正则化，该方法在性能上也优于标准原始-对偶和原始方法。