[论文解读] Complementary Composite Minimization, Small Gradients in General Norms, and Applications to Regression Problems.

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|Jan 26, 2021

Sparse and Compressive Sensing Techniques参考文献 23被引用 5

一句话总结

本文提出了一种统一的加速算法框架，用于一般范数空间中的互补复合最小化问题，其中目标函数被划分为弱光滑项和一致凸项。该框架实现了近乎最优的收敛速率，并可实现一般范数下梯度最小化的近乎最优方法，包括 $∞ll_1$ 设置下的 $∞ll_∞$ 范数，其结果与 Nesterov 在欧几里得设置下的界限一致。

ABSTRACT

Composite minimization is a powerful framework in large-scale convex optimization, based on decoupling of the objective function into terms with structurally different properties and allowing for more flexible algorithmic design. In this work, we introduce a new algorithmic framework for complementary composite minimization, where the objective function decouples into a (weakly) smooth and a uniformly convex term. This particular form of decoupling is pervasive in statistics and machine learning, due to its link to regularization. The main contributions of our work are summarized as follows. First, we introduce the problem of complementary composite minimization in general normed spaces; second, we provide a unified accelerated algorithmic framework to address broad classes of complementary composite minimization problems; and third, we prove that the algorithms resulting from our framework are near-optimal in most of the standard optimization settings. Additionally, we show that our algorithmic framework can be used to address the problem of making the gradients small in general normed spaces. As a concrete example, we obtain a nearly-optimal method for the standard $\ell_1$ setup (small gradients in the $\ell_\infty$ norm), essentially matching the bound of Nesterov (2012) that was previously known only for the Euclidean setup. Finally, we show that our composite methods are broadly applicable to a number of regression problems, leading to complexity bounds that are either new or match the best existing ones.

研究动机与目标

• 形式化并研究一般范数空间中的互补复合最小化问题，其中目标函数被划分为弱光滑项和一致凸项。
• 开发一种统一的算法框架，以加速此类问题广泛类别的收敛速度。
• 为所提出的算法在标准优化设置下建立近乎最优的迭代复杂度边界。
• 将该框架扩展至一般范数下最小化梯度的问题，特别是非欧几里得设置。
• 展示该框架在回归问题中的实际适用性，实现改进或全新的复杂度边界。

提出的方法

• 该框架在一般范数空间中运行，利用对偶性以及与范数相关的光滑性/强凸性特性，设计自适应更新规则。
• 采用一种新颖的加速机制，基于混合动量与近端步长，针对弱光滑性与一致凸性之间的相互作用进行定制。
• 算法采用广义近端点方法，自适应步长由一致凸项相关的 Bregman 散度导出。
• 引入一种新的基于对偶性的分析技术，以在任意范数下界定对偶间隙和梯度大小。
• 框架中引入重加权策略，以处理 $∞ll_∞$ 梯度最小化问题中 $∞ll_1$ 类结构。
• 通过结合光滑性与强凸性项的势函数证明收敛性，确保快速全局收敛。

实验结果

研究问题

• RQ1 能否为一般范数空间中的互补复合最小化设计一种统一的加速算法？
• RQ2 在一般范数下最小化梯度的最优迭代复杂度是多少，特别是在 $∞ll_1$/$∞ll_∞$ 设置下？
• RQ3 所提出的框架如何在多种凸优化问题中实现近乎最优性？
• RQ4 该框架能否有效应用于具有改进或新颖复杂度边界的回归问题？
• RQ5 范数结构在欧几里得情况之外如何实现梯度的小化？

主要发现

• 所提出的算法框架在一般范数空间中互补复合最小化问题上实现了近乎最优的收敛速率。
• 对于在 $∞ll_1$ 结构下 $∞ll_∞$ 范数的梯度最小化问题，该方法几乎达到了此前仅在欧几里得设置下已知的最优边界。
• 该框架为一系列回归问题（包括 Lasso 及相关稀疏回归模型）提供了新的或改进的复杂度边界。
• 分析表明，该算法的收敛速率在标准设置下仅相差对数因子，即为最优。
• 该方法对范数选择表现出鲁棒性，其理论保证在不同光滑性与凸性条件下均成立。
• 该框架可设计出同时最小化目标值与梯度范数的算法，这对统计估计至关重要。