[논문 리뷰] Fast minimization of structured convex quartics

Brian Bullins|arXiv (Cornell University)|2018. 12. 26.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 $ A^T A \succ 0 $ 인 구조적 볼록 4차 함수—특히 $ f(x) = c^T x + x^T G x + T[x,x,x] + \frac{1}{24}\|Ax\|_4^4 $ 형태의 함수—를 최소화하기 위한 새로운 가속 경사 하강 방법인 FastQuartic을 제안한다. 이 방법은 $ \varepsilon $-최적 해를 확보하기 위해 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 번의 기울기 오ракulum 및 선형 시스템 해소자 호출을 필요로 하며, 이는 이 클래스 문제에 대해 이전의 커팅 평면법 및 2차 방법에 비해 크게 향상된 성능이다.

ABSTRACT

We propose faster methods for unconstrained optimization of \emph{structured convex quartics}, which are convex functions of the form \begin{equation*} f(x) = c^ op x + x^ op \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*} for $c \in \mathbb{R}^d$, $\mathbf{G} \in \mathbb{R}^{d imes d}$, $\mathbf{T} \in \mathbb{R}^{d imes d imes d}$, and $\mathbf{A} \in \mathbb{R}^{n imes d}$ such that $\mathbf{A}^ op \mathbf{A} \succ 0$. In particular, we show how to achieve an $ε$-optimal minimizer for such functions with only $O(n^{1/5}\log^{O(1)}(\mathcal{Z}/ε))$ calls to a gradient oracle and linear system solver, where $\mathcal{Z}$ is a problem-dependent parameter. Our work extends recent ideas on efficient tensor methods and higher-order acceleration techniques to develop a descent method for optimizing the relevant quartic functions. As a natural consequence of our method, we achieve an overall cost of $O(n^{1/5}\log^{O(1)}(\mathcal{Z} / ε))$ calls to a gradient oracle and (sparse) linear system solver for the problem of $\ell_4$-regression when $\mathbf{A}^ op \mathbf{A} \succ 0$, providing additional insight into what may be achieved for general $\ell_p$-regression. Our results show the benefit of combining efficient higher-order methods with recent acceleration techniques for improving convergence rates in fundamental convex optimization problems.

연구 동기 및 목표

• 구조적 볼록 4차 함수의 비제약 최적화를 위한 더 빠른 알고리즘 개발
• 특히 $ \ell_4 $-회귀에서 기존 방법의 느린 수렴 속도로 인해 발생하는 고차 최적화의 효율성 격차를 해소하기 위해
• 최근의 고차 가속 및 텐서 방법의 발전을 바탕으로 종단 간 복잡도 한계를 확보하고 명시적인 계산 비용을 제공하기 위해
• 일부 구조적 볼록 문제에서 전통적인 전역 방법(예: 커팅 평면법 또는 내부점 방법)보다 효율적인 국소 탐색 방법이 성능을 뛰어넘을 수 있음을 보여주기 위해

제안 방법

• 구조적 볼록 4차 함수를 최소화하기 위해 고차 가속과 효율적인 텐서 근사 기법을 융합한 새로운 알고리즘 FastQuartic를 제안한다.
• 오차 전파를 통제하고 수렴을 보장하기 위해 재귀적 선 탐색 절차(RhoSearch)와 보조 최소화 서브루틴(ApproxAuxMin)을 활용한다.
• 행렬 유도 노름과 적응형 정규화를 사용하여 안정성을 유지하고 볼록성 가정 하에 전역 수렴을 보장한다.
• 4차 항 $ \|Ax\|_4^4 $ 의 구조를 활용하여 헤시안 근사화를 효율적으로 수행하고 계산 오버헤드를 감소시킨다.
• 입력 데이터의 조건 수와 노름 크기를 반영하는 문제에 따라 달라지는 매개변수 $ \mathcal{Z} $ 를 도입하여 날카운 복잡도 한계를 확보한다.
• 특정한 근사 오차 균형을 통해 선 탐색 및 보조 최소화 단계의 오차를 제어함으로써 복잡도 한계를 확보한다. 이는 $ \tilde{\varepsilon}_{fs} $ 와 $ \tilde{\varepsilon}_{aam} $ 를 활용한다.

실험 결과

연구 질문

• RQ1 고차 가속 기법과 텐서 방법을 효과적으로 융합하여 구조적 볼록 4차 함수의 수렴 속도를 높일 수 있는가?
• RQ2 $ A^T A \succ 0 $ 인 경우 $ \ell_4 $-회귀 문제를 최소화할 때 최적의 오라클 복잡도는 무엇인가?
• RQ3 일부 구조적 볼록 문제에서 국소 경사 하강 방법이 커팅 평면법 또는 타원체 방법과 같은 전역 방법을 능가할 수 있는가?
• RQ4 선 탐색 및 보조 최소화에서의 적응형 오차 제어는 어떻게 수학적으로 형식화할 수 있으며, 이를 통해 최소한의 계산 비용으로 수렴을 보장할 수 있는가?

주요 결과

• FastQuartic는 $ \varepsilon $-최적 해를 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 번의 기울기 오라클 및 선형 시스템 해소자 호출로 확보한다. 여기서 $ \mathcal{Z} $ 는 문제에 따라 달라지는 매개변수이다.
• 이 방법은 $ n \leq O(d^{5(3-\omega)}) $ 인 경우 기존의 최고 성능 커팅 평면법의 복잡도인 $ O(d \cdot \text{GO} \log(dR/\varepsilon) + d^3 \log^{O(1)}(dR/\varepsilon)) $ 보다 향상되었으며, 로그 인자 수준에서의 개선을 보였다.
• $ A^T A \succ 0 $ 인 $ \ell_4 $-회귀 문제에 대해, 이 방법은 $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 의 새로운 종단 간 복잡도 한계를 제공하며, 이는 이전의 수렴 속도를 향상시킨다.
• 효율적인 이진 탐색 및 근사 서브루틴 덕분에 반복당 기울기 및 선형 시스템 호출 수가 $ O(\log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 수준으로 유지된다.
• 이론적 분석을 통해 방법이 전역 수렴을 유지하고, $ n $ 에 대해 $ O(n^{1/5}) $ 의 의존성을 확보함을 확인하였으며, 이는 고차 방법에 대한 알려진 하한선에 따라 최적임을 입증하였다.