[論文レビュー] Second-order Conditional Gradients

Alejandro Carderera, Sebastian Pokutta|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques被引用数 2

ひとこと要約

本稿では、制約付き2次凸最適化のための射影フリーなアルゴリズムである2次条件付き勾配スライディング（SOCGS）を提案する。このアルゴリズムは、線形最小化オракルを用いて部分問題を不正確に解くことで、射影を回避する。解の精度が有限回の反復後に2次収束を示し、ε-最適性に到達するまでに、1階微分およびヘッセ行列オラクル呼び出しはO(log(log 1/ε))回、線形最小化オラクル呼び出しはO(log(1/ε) log(log 1/ε))回必要となる。これは、実行可能集合が多面体である場合に成立する。

ABSTRACT

Constrained second-order convex optimization algorithms are the method of choice when a high accuracy solution to a problem is needed, due to their local quadratic convergence. These algorithms require the solution of a constrained quadratic subproblem at every iteration. We present the \emph{Second-Order Conditional Gradient Sliding} (SOCGS) algorithm, which uses a projection-free algorithm to solve the constrained quadratic subproblems inexactly. When the feasible region is a polytope the algorithm converges quadratically in primal gap after a finite number of linearly convergent iterations. Once in the quadratic regime the SOCGS algorithm requires $\mathcal{O}(\log(\log 1/\varepsilon))$ first-order and Hessian oracle calls and $\mathcal{O}(\log (1/\varepsilon) \log(\log1/\varepsilon))$ linear minimization oracle calls to achieve an $\varepsilon$-optimal solution. This algorithm is useful when the feasible region can only be accessed efficiently through a linear optimization oracle, and computing first-order information of the function, although possible, is costly.

研究の動機と目的

• 制約付き2次最適化における1階微分およびヘッセ行列オラクルの使用に伴う高い計算コストの課題に対処すること。
• 明示的な射影を用いずに、2次最適化手法における制約付き二次部分問題を効率的に解けるようにすること。
• 多面体上での凸最適化において、線形最小化オラクルのみを用いて、プライマルギャップの2次収束を達成すること。
• 高速な収束レートを維持しながら、高価な1階微分およびヘッセ行列オラクル呼び出しの回数を減らすこと。
• 線形最適化が効率的であるが勾配およびヘッセ行列の計算が高コストな状況に適した実用的アルゴリズムを提供すること。

提案手法

• 制約付き二次部分問題の不正確解法と組み合わせた射影フリーなアルゴリズムSO CGSを提案する。
• 各反復で線形最小化オラクルを用いて二次部分問題を近似的に解き、高価な射影を回避する。
• ヘッセ行列の2次情報を取り入れることで、初期段階の線形収束に続く局所的2次収束を実現する。
• 部分問題の解の精度要件を最適解に近づくにつれて段階的に緩和するスライディング機構を採用する。
• 実行可能領域が多面体であると仮定し、線形最小化オラクルの構造を活用して収束性を分析する。
• 1階微分、ヘッセ行列、線形最小化オラクルの呼び出し回数に基づく複雑性の上限を確立し、所望の精度εに対して対数的依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 線形最小化オラクルのみが利用可能な射影フリーな設定で、2次収束を達成できるか？
• RQ2 制約付き2次最適化において、ε-最適性に到達するために必要な1階微分およびヘッセ行列オラクル呼び出しの最小回数は何か？
• RQ3 二次部分問題の不正確解をどのように効果的に活用することで、射影なしで高速な収束を維持できるか？
• RQ4 2次条件付き勾配法において、部分問題の解の精度と全体の収束レートの間にはどのようなトレードオフがあるか？
• RQ5 高価な勾配およびヘッセ行列評価に依存を最小限に抑えながら、プライマルギャップの2次収束を達成できるか？

主な発見

• 実行可能集合が多面体である場合、SOCGSは有限回の反復後にプライマルギャップの局所的2次収束を達成する。
• ε-最適解に到達するまでに、1階微分およびヘッセ行列オラクル呼び出しはO(log(log 1/ε))回必要である。
• 線形最小化オラクル呼び出しはO(log(1/ε) log(log 1/ε))回であり、オラクル複雑性においてほぼ最適である。
• 明示的な射影を一切用いずに、線形最小化オラクルのみに依存することで、高速な収束を維持する。
• アルゴリズムが最終段階に入ると、プライマルギャップの収束レートは2次的となり、最適解付近での急激な改善を示す。
• 勾配およびヘッセ行列の計算が高価な状況において特に有効であり、実行可能集合上での線形最適化が効率的である場合に最適である。