[논문 리뷰] A Control-Theoretic Perspective on Optimal High-Order Optimization

Tianyi Lin, Michael I. Jordan|arXiv (Cornell University)|2019. 12. 16.

Tensor decomposition and applications참고 문헌 97인용 수 11

한 줄 요약

이 논문은 경계 조건이 없는 연속 시간 폐루프 시스템을 모델링하여, 그래디언트 및 헤시안 연산자에 의해 지배되는 제어 이론적 프레임워크를 제안한다. 피드백 제어 법칙은 대수 방정식으로 정의되며, 이는 최적의 고차수 최적화를 가능하게 한다. 목적 함수 갭에 대해 $O(1/t^{(3p+1)/2})$ 및 제곱 그래디언트 노름에 대해 $O(1/t^{3p})$ 의 전역 수렴 속도를 확립하고, 이로부터 두 가지 이산 시간 $p$-차수 텐서 알고리즘을 도출하여 매끄럽고 볼록한 함수에 대해 최적 수렴 속도를 달성한다.

ABSTRACT

We provide a control-theoretic perspective on optimal tensor algorithms for minimizing a convex function in a finite-dimensional Euclidean space. Given a function $Φ: \mathbb{R}^d ightarrow \mathbb{R}$ that is convex and twice continuously differentiable, we study a closed-loop control system that is governed by the operators $ abla Φ$ and $ abla^2 Φ$ together with a feedback control law $λ(\cdot)$ satisfying the algebraic equation $(λ(t))^p\| ablaΦ(x(t))\|^{p-1} = θ$ for some $θ\in (0, 1)$. Our first contribution is to prove the existence and uniqueness of a local solution to this system via the Banach fixed-point theorem. We present a simple yet nontrivial Lyapunov function that allows us to establish the existence and uniqueness of a global solution under certain regularity conditions and analyze the convergence properties of trajectories. The rate of convergence is $O(1/t^{(3p+1)/2})$ in terms of objective function gap and $O(1/t^{3p})$ in terms of squared gradient norm. Our second contribution is to provide two algorithmic frameworks obtained from discretization of our continuous-time system, one of which generalizes the large-step A-HPE framework and the other of which leads to a new optimal $p$-th order tensor algorithm. While our discrete-time analysis can be seen as a simplification and generalization of~\citet{Monteiro-2013-Accelerated}, it is largely motivated by the aforementioned continuous-time analysis, demonstrating the fundamental role that the feedback control plays in optimal acceleration and the clear advantage that the continuous-time perspective brings to algorithmic design. A highlight of our analysis is that we show that all of the $p$-th order optimal tensor algorithms that we discuss minimize the squared gradient norm at a rate of $O(k^{-3p})$, which complements the recent analysis.

연구 동기 및 목표

• 볼록 최적화에서 최적의 고차수 텐서 알고리즘을 위한 연속 시간 제어 이론적 시각을 개발하기 위해.
• 반단사 고정점 정리와 리아푸노프 함수를 이용하여 폐루프 동적 시스템의 해의 전역 존재성과 유일성을 확립하기 위해.
• 연속 시스템의 이산화를 통해 이산 시간 $p$-차수 최적 텐서 알고리즘을 유도하고, 이는 이전 프레임워크를 일반화하고 단순화하기 위해.
• 제안된 알고리즘이 제곱 그래디언트 노름에 대해 최적 수렴 속도 $O(k^{-3p})$ 를 달성함을 보여주며, 최근 결과를 보완하기 위해.
• 피드백 제어와 대수 방정식이 $p \geq 2$ 에서 최적 가속을 가능하게 하는 역할을 탐색하기 위해.

제안 방법

• 그래디언트 $\nabla\Phi$ 와 헤시안 $\nabla^2\Phi$ 에 의해 지배되는 연속 시간 동적 시스템을 설정하며, 피드백 제어 $\lambda(t)$ 는 $(\lambda(t))^p \|\nabla\Phi(x(t))\|^{p-1} = \theta$ 를 만족한다. 여기서 $\theta \in (0,1)$ 이다.
• 리아푸노프 함수와 $\Phi$ 의 규칙성 조건을 이용하여 전역 해의 존재성과 유일성을 증명한다.
• 수렴 속도를 확립한다: 목적 함수 갭에 대해 $O(1/t^{(3p+1)/2})$, 제곱 그래디언트 노름에 대해 $O(1/t^{3p})$ 이다.
• 연속 시스템을 이산화하여 두 가지 알고리즘 프레임워크를 도출한다: 하나는 몬테이로와 스바이터(2013)의 대규모 단계 A-HPE 프레임워크를 일반화하고, 다른 하나는 새로운 최적 $p$-차수 텐서 알고리즘을 도출한다.
• 이산 알고리즘에서 비정확한 텐서 서브루틴을 효율적으로 구현하기 위해 이분법 검색 기반 방법을 사용한다.
• 리아푸노프 함수를 활용하여 연속 시간과 이산 시간 모두에서 수렴 분석을 통합하고 단순화한다.

실험 결과

연구 질문

• RQ1 제어 이론적 시각은 볼록 최적화를 위한 최적의 고차수 텐서 알고리즘 유도 및 분석에 어떻게 활용될 수 있는가?
• RQ2 대수 방정식 $\lambda^p \|\nabla\Phi\|^{p-1} = \theta$ 로 정의된 피드백 제어 법칙은 $p \geq 2$ 에서 최적 가속을 달성하는 데 어떤 역할을 하는가?
• RQ3 헤시안 기반 감쇠와 피드백 제어를 갖는 연속 시간 역학은 알려진 이산 알고리즘과 비교해 최적 수렴 속도를 달성할 수 있는가?
• RQ4 리아푸노프 함수 프레임워크는 연속 시간과 이산 시간 모두에서 수렴 분석을 어떻게 통합적으로 가능하게 하는가?
• RQ5 네스테로프의 고차수 방법의 연속 시간 근사와 제안된 폐루프 시스템 간의 관계는 무엇인가?

주요 결과

• 규칙성 조건 하에서 연속 시간 시스템은 반단사 고정점 정리와 새로운 리아푸노프 함수를 통해 유일한 전역 해를 갖는다.
• 목적 함수 갭은 $O(1/t^{(3p+1)/2})$ 의 속도로 수렴하고, 제곱 그래디언트 노름은 $O(1/t^{3p})$ 의 속도로 연속 시간에서 수렴한다.
• 연속 시스템의 이산화로 두 가지 알고리즘 프레임워크가 도출된다: 하나는 대규모 단계 A-HPE 프레임워크를 일반화하고, 다른 하나는 새로운 최적 $p$-차수 텐서 알고리즘을 생성한다.
• 제안된 이산 알고리즘은 제곱 그래디언트 노름에 대해 최적 수렴 속도 $O(k^{-3p})$ 를 달성하며, 가스니코프 등(2019), 장 등(2019), 뷰벡 등(2019)의 최근 결과와 일치한다.
• 대수 방정식을 통한 피드백 제어 법칙은 $p$-차수 방법에서 최적 가속을 가능하게 하며, 일차 방법에서는 이를 포함하지 않는다.
• 이 프레임워크는 연속 시간 시각이 최적 고차수 알고리즘 유도 및 분석을 체계적이고 단순화하는 길을 제공함을 드러낸다.