[论文解读] Fast minimization of structured convex quartics

Brian Bullins|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用 9

一句话总结

该论文提出 FastQuartic，一种用于最小化结构化凸四次函数的新型加速下降方法——具体而言，函数形式为 $ f(x) = c^T x + x^T G x + T[x,x,x] + \frac{1}{24}\|Ax\|_4^4 $，其中 $ A^T A \succ 0 $。该方法在 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 次梯度预言机和线性系统求解器调用内达到 $ \varepsilon $-最优解，显著优于此类问题的先前切割平面法和二阶方法。

ABSTRACT

We propose faster methods for unconstrained optimization of \emph{structured convex quartics}, which are convex functions of the form \begin{equation*} f(x) = c^ op x + x^ op \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*} for $c \in \mathbb{R}^d$, $\mathbf{G} \in \mathbb{R}^{d imes d}$, $\mathbf{T} \in \mathbb{R}^{d imes d imes d}$, and $\mathbf{A} \in \mathbb{R}^{n imes d}$ such that $\mathbf{A}^ op \mathbf{A} \succ 0$. In particular, we show how to achieve an $ε$-optimal minimizer for such functions with only $O(n^{1/5}\log^{O(1)}(\mathcal{Z}/ε))$ calls to a gradient oracle and linear system solver, where $\mathcal{Z}$ is a problem-dependent parameter. Our work extends recent ideas on efficient tensor methods and higher-order acceleration techniques to develop a descent method for optimizing the relevant quartic functions. As a natural consequence of our method, we achieve an overall cost of $O(n^{1/5}\log^{O(1)}(\mathcal{Z} / ε))$ calls to a gradient oracle and (sparse) linear system solver for the problem of $\ell_4$-regression when $\mathbf{A}^ op \mathbf{A} \succ 0$, providing additional insight into what may be achieved for general $\ell_p$-regression. Our results show the benefit of combining efficient higher-order methods with recent acceleration techniques for improving convergence rates in fundamental convex optimization problems.

研究动机与目标

• 开发针对结构化凸四次函数无约束优化的更快算法，这些函数是线性、二次、三阶张量和 $ \ell_4 $-范数项的凸组合。
• 弥合高阶凸优化在效率上的差距，特别是针对 $ \ell_4 $-回归问题，此前方法的收敛速率较慢。
• 将近期在高阶加速和张量方法方面的进展推广，以实现具有显式计算成本的端到端复杂度界。
• 证明高效的局部搜索方法可在某些结构化凸问题上优于传统全局方法（如切割平面法或内点法）。

提出的方法

• 提出一种新算法 FastQuartic，结合高阶加速与高效的张量近似技术，以最小化结构化凸四次函数。
• 采用递归线搜索过程（RhoSearch）和辅助最小化子程序（ApproxAuxMin），以控制误差传播并确保收敛。
• 利用矩阵诱导范数和自适应正则化，以在凸性假设下保持稳定性和确保全局收敛。
• 利用四阶项 $ \|Ax\|_4^4 $ 的结构，实现高效的 Hessian 近似并降低计算开销。
• 引入一个与问题相关的参数 $ \mathcal{Z} $，用于捕捉输入数据的条件数和范数大小，从而实现紧致的复杂度界。
• 通过仔细平衡线搜索和辅助最小化步骤中的近似误差（使用 $ \tilde{\varepsilon}_{fs} $ 和 $ \tilde{\varepsilon}_{aam} $），实现复杂度界。

实验结果

研究问题

• RQ1 高阶加速技术能否与张量方法有效结合，以实现结构化凸四次函数的更快收敛？
• RQ2 当 $ A^T A \succ 0 $ 时，$ \ell_4 $-回归问题的最优预言机复杂度是多少？
• RQ3 对于某些结构化凸问题，局部下降方法能否优于切割平面法或椭球法等全局方法？
• RQ4 如何形式化线搜索和辅助最小化中的自适应误差控制，以在最小计算成本下确保收敛？

主要发现

• FastQuartic 在 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 次梯度预言机和线性系统求解器调用内达到 $ \varepsilon $-最优解，其中 $ \mathcal{Z} $ 为与问题相关的参数。
• 该方法在 $ n \leq O(d^{5(3-\omega)}) $ 条件下，优于已知最佳切割平面方法的复杂度 $ O(d \cdot \text{GO} \log(dR/\varepsilon) + d^3 \log^{O(1)}(dR/\varepsilon)) $，仅在对数因子上存在差异。
• 对于 $ A^T A \succ 0 $ 的 $ \ell_4 $-回归问题，该方法提供了新的端到端复杂度界 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $，优于先前的收敛速率。
• 由于高效的二分查找和近似子程序，该算法在每次迭代中仅需 $ O(\log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 次梯度和线性系统调用。
• 理论分析证实，该方法保持全局收敛性，并在 $ n $ 上实现 $ O(n^{1/5}) $ 的依赖关系，这在高阶方法的已知下界下是最优的。