[論文レビュー] Fast minimization of structured convex quartics

Brian Bullins|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用数 9

ひとこと要約

本稿では、構造的凸四次関数を最小化するための新しい高速勾配降下法、FastQuartic を導入する。具体的には、$ f(x) = c^T x + x^T G x + T[x,x,x] + \frac{1}{24}\|Ax\|_4^4 $ の形をとる関数であり、$ A^T A \succ 0 $ を満たす。本手法は、勾配オракルおよび線形方程式系ソルバーを $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 回呼び出すことで、$ \varepsilon $-最適解に到達でき、このクラスの問題に対して、従来のカットプレーン法や二階微分法に比べ顕著な改善を達成する。

ABSTRACT

We propose faster methods for unconstrained optimization of \emph{structured convex quartics}, which are convex functions of the form \begin{equation*} f(x) = c^ op x + x^ op \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*} for $c \in \mathbb{R}^d$, $\mathbf{G} \in \mathbb{R}^{d imes d}$, $\mathbf{T} \in \mathbb{R}^{d imes d imes d}$, and $\mathbf{A} \in \mathbb{R}^{n imes d}$ such that $\mathbf{A}^ op \mathbf{A} \succ 0$. In particular, we show how to achieve an $ε$-optimal minimizer for such functions with only $O(n^{1/5}\log^{O(1)}(\mathcal{Z}/ε))$ calls to a gradient oracle and linear system solver, where $\mathcal{Z}$ is a problem-dependent parameter. Our work extends recent ideas on efficient tensor methods and higher-order acceleration techniques to develop a descent method for optimizing the relevant quartic functions. As a natural consequence of our method, we achieve an overall cost of $O(n^{1/5}\log^{O(1)}(\mathcal{Z} / ε))$ calls to a gradient oracle and (sparse) linear system solver for the problem of $\ell_4$-regression when $\mathbf{A}^ op \mathbf{A} \succ 0$, providing additional insight into what may be achieved for general $\ell_p$-regression. Our results show the benefit of combining efficient higher-order methods with recent acceleration techniques for improving convergence rates in fundamental convex optimization problems.

研究の動機と目的

• 構造的凸四次関数の非制約最適化のためのより高速なアルゴリズムの開発。これは、線形項、二次項、三次テンソル項、および $ \ell_4 $-ノルム項の凸結合である。
• 特に $ \ell_4 $-回帰において、従来の手法が収束速度が遅かったことによる効率のギャップを埋める。
• 最近の高次加速およびテンソル法の進展を応用し、明示的な計算コストを伴うエンド・ツー・エンドの複雑度境界を達成する。
• 特定の構造的凸問題において、従来のグローバル手法（カットプレーン法や内点法）よりも、効率的なローカル探索手法が優位に働く可能性を示す。

提案手法

• 構造的凸四次関数を最小化するための新しいアルゴリズム、FastQuartic を提案。高次加速と効率的なテンソル近似技術を統合する。
• 誤差伝播を制御し収束を保証するために、再帰的ラインサーチ手順（RhoSearch）と補助最小化サブルーチン（ApproxAuxMin）を採用する。
• 行列誘導ノルムと適応的正則化を用いて、凸性仮定のもとで安定性を維持し、グローバル収束を保証する。
• 四次項 $ \|Ax\|_4^4 $ の構造を活用し、ヘッシアンの効率的近似を可能とし、計算コストを低減する。
• 入力データの条件数およびノルムサイズを捉える問題依存パラメータ $ \mathcal{Z} $ を導入し、タイトな複雑度境界を実現する。
• 近似誤差のバランスを慎重に制御することで、複雑度境界を達成する。具体的には、ラインサーチと補助最小化ステップにおける誤差を $ \tilde{\varepsilon}_{fs} $ および $ \tilde{\varepsilon}_{aam} $ を用いて制御する。

実験結果

リサーチクエスチョン

• RQ1 高次加速技術とテンソル法を効果的に組み合わせることで、構造的凸四次関数のためのより高速な収束が達成可能か？
• RQ2 $ A^T A \succ 0 $ の下で、$ \ell_4 $-回帰問題を最小化する際の最適なオракル複雑度は何か？
• RQ3 特定の構造的凸問題において、ローカル降下法がカットプレーン法や楕円体法といったグローバル手法を上回る性能を発揮できるか？
• RQ4 ラインサーチおよび補助最小化における適応的誤差制御を、最小限の計算コストで収束を保証する形で形式化できるか？

主な発見

• FastQuartic は、勾配オラクルおよび線形方程式系ソルバーを $ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 回呼び出すことで、$ \varepsilon $-最適解に到達する。ここで $ \mathcal{Z} $ は問題依存パラメータである。
• $ n \leq O(d^{5(3-\omega)}) $ の場合、従来の最良のカットプレーン法の複雑度 $ O(d \cdot \text{GO} \log(dR/\varepsilon) + d^3 \log^{O(1)}(dR/\varepsilon)) $ よりも、対数要因を除いて顕著な改善を達成する。
• $ A^T A \succ 0 $ の $ \ell_4 $-回帰に対して、$ O(n^{1/5} \log^{O(1)}(\mathcal{Z}/\varepsilon)) $ の新しいエンド・ツー・エンドの複雑度境界を提供し、従来のレートを改善する。
• 効率的な二分探索および近似サブルーチンのおかげで、各反復において $ O(\log^{O(1)}(\mathcal{Z}/\varepsilon)) $ 回の勾配および線形方程式系ソルバー呼び出しで収束を達成する。
• 理論的解析により、グローバル収束が保証され、$ n $ に対して $ O(n^{1/5}) $ の依存性を達成することが確認され、これは高次手法における既知の下界と整合的で最適である。