[论文解读] A Control-Theoretic Perspective on Optimal High-Order Optimization

Tianyi Lin, Michael I. Jordan|arXiv (Cornell University)|Dec 16, 2019

Tensor decomposition and applications参考文献 97被引用 11

一句话总结

本论文提出了一种基于控制理论的最优高阶优化框架，通过将由梯度和海森算子驱动的连续时间闭环系统建模为通过代数方程定义的反馈控制律，实现了全局收敛性。其目标函数间隙收敛速率为 $O(1/t^{(3p+1)/2})$，平方梯度范数收敛速率为 $O(1/t^{3p})$，并通过离散化推导出两种离散时间 $p$-阶张量算法，实现了光滑凸函数的最优收敛速率。

ABSTRACT

We provide a control-theoretic perspective on optimal tensor algorithms for minimizing a convex function in a finite-dimensional Euclidean space. Given a function $Φ: \mathbb{R}^d ightarrow \mathbb{R}$ that is convex and twice continuously differentiable, we study a closed-loop control system that is governed by the operators $ abla Φ$ and $ abla^2 Φ$ together with a feedback control law $λ(\cdot)$ satisfying the algebraic equation $(λ(t))^p\| ablaΦ(x(t))\|^{p-1} = θ$ for some $θ\in (0, 1)$. Our first contribution is to prove the existence and uniqueness of a local solution to this system via the Banach fixed-point theorem. We present a simple yet nontrivial Lyapunov function that allows us to establish the existence and uniqueness of a global solution under certain regularity conditions and analyze the convergence properties of trajectories. The rate of convergence is $O(1/t^{(3p+1)/2})$ in terms of objective function gap and $O(1/t^{3p})$ in terms of squared gradient norm. Our second contribution is to provide two algorithmic frameworks obtained from discretization of our continuous-time system, one of which generalizes the large-step A-HPE framework and the other of which leads to a new optimal $p$-th order tensor algorithm. While our discrete-time analysis can be seen as a simplification and generalization of~\citet{Monteiro-2013-Accelerated}, it is largely motivated by the aforementioned continuous-time analysis, demonstrating the fundamental role that the feedback control plays in optimal acceleration and the clear advantage that the continuous-time perspective brings to algorithmic design. A highlight of our analysis is that we show that all of the $p$-th order optimal tensor algorithms that we discuss minimize the squared gradient norm at a rate of $O(k^{-3p})$, which complements the recent analysis.

研究动机与目标

• 开发一种连续时间控制理论视角，用于凸优化中高阶张量算法的最优性分析。
• 利用巴拿赫不动点定理与李雅普诺夫函数，建立闭环动力系统解的全局存在性与唯一性。
• 通过连续系统的离散化，推导出两种离散时间 $p$-阶最优张量算法，推广并简化了先前的框架。
• 证明所提出的算法在平方梯度范数上达到最优收敛速率 $O(k^{-3p})$，与近期研究结果相辅相成。
• 探讨反馈控制与代数方程在实现 $p \geq 2$ 时最优加速中的作用。

提出的方法

• 构建一个由 $\nabla\Phi$ 和 $\nabla^2\Phi$ 驱动的连续时间动力系统，其中反馈控制 $\lambda(t)$ 满足代数方程 $(\lambda(t))^p \|\nabla\Phi(x(t))\|^{p-1} = \theta$，$\theta \in (0,1)$。
• 利用李雅普诺夫函数与 $\Phi$ 的正则性条件，证明全局解的存在性与唯一性。
• 建立收敛速率：目标函数间隙为 $O(1/t^{(3p+1)/2})$，平方梯度范数为 $O(1/t^{3p})$，均在连续时间下成立。
• 对连续系统进行离散化，推导出两种算法框架：一种推广了 Monteiro 与 Svaiter (2013) 的大步长 A-HPE 框架，另一种生成了一种新型最优 $p$-阶张量算法。
• 采用二分查找方案，高效实现离散算法中不精确张量子程序的计算。
• 利用李雅普诺夫函数，统一并简化了连续时间与离散时间收敛性分析。

实验结果

研究问题

• RQ1 如何利用控制理论视角推导并分析凸优化中高阶张量算法的最优性？
• RQ2 代数方程 $\lambda^p \|\nabla\Phi\|^{p-1} = \theta$ 定义的反馈控制律在实现 $p \geq 2$ 时最优加速中起到何种作用？
• RQ3 带有海森驱动阻尼与反馈控制的连续时间动力系统能否实现与已知离散算法相当的最优收敛速率？
• RQ4 李雅普诺夫函数框架如何实现对连续时间与离散时间收敛性的统一分析？
• RQ5 内斯特罗夫高阶方法的连续时间极限与所提出的闭环系统之间存在何种关系？

主要发现

• 在正则性条件下，连续时间系统存在唯一全局解，其证明基于巴拿赫不动点定理与一种新颖的李雅普诺夫函数。
• 目标函数间隙在连续时间下以速率 $O(1/t^{(3p+1)/2})$ 收敛，平方梯度范数以速率 $O(1/t^{3p})$ 收敛。
• 连续系统的离散化产生两种算法框架：一种推广了大步长 A-HPE 框架，另一种生成了一种新型最优 $p$-阶张量算法。
• 所提出的离散算法在平方梯度范数上实现了最优收敛速率 $O(k^{-3p})$，与 Gasnikov 等人 (2019)、Jiang 等人 (2019) 以及 Bubeck 等人 (2019) 的近期结果一致。
• 通过代数方程实现的反馈控制律在 $p$-阶方法中对实现最优加速至关重要，而在一阶设置中则不存在。
• 该框架表明，连续时间视角为推导与分析最优高阶算法提供了一条系统化且简化的路径。