[論文レビュー] Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|May 9, 2015

Sparse and Compressive Sensing Techniques参考文献 17被引用数 38

ひとこと要約

この論文は、ヘッセ行列のランダム射影を用いてニュートン法を近似する、確率的2次最適化アルゴリズムであるNewton Sketchを提案する。部分的にサンプルされたハダマード変換を活用することで、条件数に依存しない線形・2次収束を達成し、計算複雑性が条件数に依存しない。自己共形関数に対して、保証されたグローバル収束を伴う線形時間の代替手法を提供する。

ABSTRACT

We propose a randomized second-order method for optimization known as the Newton Sketch: it is based on performing an approximate Newton step using a randomly projected or sub-sampled Hessian. For self-concordant functions, we prove that the algorithm has super-linear convergence with exponentially high probability, with convergence and complexity guarantees that are independent of condition numbers and related problem-dependent quantities. Given a suitable initialization, similar guarantees also hold for strongly convex and smooth objectives without self-concordance. When implemented using randomized projections based on a sub-sampled Hadamard basis, the algorithm typically has substantially lower complexity than Newton's method. We also describe extensions of our methods to programs involving convex constraints that are equipped with self-concordant barriers. We discuss and illustrate applications to linear programs, quadratic programs with convex constraints, logistic regression and other generalized linear models, as well as semidefinite programs.

研究の動機と目的

• ニュートン法における正確なヘッセ行列計算の高コストを回避する、スケーラブルな2次最適化手法を開発すること。
• 問題依存パラメータ（条件数や滑らかさなど）に依存しない収束保証を伴う超線形収束を達成すること。
• 入力サイズにほぼ線形に減少する反復ごとの計算コストを維持しつつ、自己共形関数に対してグローバル収束を保つ手法を設計すること。
• 自己共形バリア関数を用いた内点法を用いて、制約付き最適化にフレームワークを拡張すること。
• 特に高次元設定においても良好にスケーリングする問題次元に応じた理論的複雑性バウンドを提供すること。

提案手法

• スケッチ行列（例：部分的にサンプルされたハダマード変換）を用いてヘッセ行列を低次元部分空間に射影することで、ニュートンステップを近似する。
• スケッチされたヘッセ行列上で小さな線形方程式系を解くことで、近似ニュートン方向を計算し、反復コストをO(nd²)からO(nd log m + dm²)に削減する。
• スケッチ次元mはmin{d, n}に比例して選択され、特にn ≫ dの場合に顕著に小さくなる。
• 自己共形関数に対しては、強い凸性や滑らかさパラメータに依存しない確率的に高い割合で線形・2次収束を保証する。
• 問題スケーリングやデータ構造に強く影響されない、アフィン不変解析を採用して収束保証を確立する。
• 制約付き問題に対しては、バリア法と統合し、内点法フレームワーク内でニュートンステップを効率的に解くためにスケッチを活用する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列に対する確率的スケッチアプローチは、計算コストを削減しながらも、ニュートン法の超線形収束を保持できるか？
• RQ2 高い確率で収束を保証するために必要なスケッチ次元mはどれくらいで、問題サイズにどのようにスケーリングされるか？
• RQ3 Newton Sketchの収束保証を、条件数やその他の問題依存パラメータに依存させない形にできるか？
• RQ4 n ≫ dまたはd ≫ nのような高次元設定において、この手法はどのように動作し、どのような複雑性バウンドが適用されるか？
• RQ5 スケッチフレームワークを、自己共形バリア関数を用いた制約付き最適化問題に拡張できるか？

主な発見

• 自己共形関数に対して、Newton Sketchは条件数や滑らかさパラメータに依存せず、指数的に高い確率で線形・2次収束を達成する。
• 部分的にサンプルされたハダマードスケッチを用いる場合、反復ごとの計算複雑性はO(nd log m + dm²)であり、m ≈ dでn ≥ d²のとき、O(nd log d)に簡略化され、入力サイズに線形時間の複雑性を達成する。
• δ-最適解に到達するまでの総合的複雑性はO(nd log d log(1/δ))であり、強い凸性や滑らかさパラメータに依存しない。
• d > nの場合、双対定式化によりdとnの役割を入れ替えることで同様の複雑性が達成され、同じ収束保証が維持される。
• バリア法を用いてロジスティック回帰、二次計画法、線形計画法、半正定値計画法に適用可能であり、収束性と複雑性バウンドが保証される。
• ℓ₁-制約付き問題に対しては、スパarsityとヘッセ行列構造を用いて接空間のガウス幅をバウンドし、スパarsity仮定の下での収束解析が可能になる。