[論文レビュー] Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update

Michał Dereziński, Jonathan Lacotte+2 more|arXiv (Cornell University)|Jul 15, 2021

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

Newton-LESS は、計算コストを著しく削減しながらも、密度のあるガウス埋め込みの収束特性を維持するスパース化されたスケッチ手法を導入する。Leviage Score Sparsified (LESS) 埋め込みと一様ランダムスパース化を組み合わせることで、問題に依存しない局所的収束レートを達成し、性能や正確性に妥協なしに、反復的最小二乗法ソルバーにおける新たな最先端水準を確立する。

ABSTRACT

In second-order optimization, a potential bottleneck can be computing the Hessian matrix of the optimized function at every iteration. Randomized sketching has emerged as a powerful technique for constructing estimates of the Hessian which can be used to perform approximate Newton steps. This involves multiplication by a random sketching matrix, which introduces a trade-off between the computational cost of sketching and the convergence rate of the optimization algorithm. A theoretically desirable but practically much too expensive choice is to use a dense Gaussian sketching matrix, which produces unbiased estimates of the exact Newton step and which offers strong problem-independent convergence guarantees. We show that the Gaussian sketching matrix can be drastically sparsified, significantly reducing the computational cost of sketching, without substantially affecting its convergence properties. This approach, called Newton-LESS, is based on a recently introduced sketching technique: LEverage Score Sparsified (LESS) embeddings. We prove that Newton-LESS enjoys nearly the same problem-independent local convergence rate as Gaussian embeddings, not just up to constant factors but even down to lower order terms, for a large class of optimization tasks. In particular, this leads to a new state-of-the-art convergence result for an iterative least squares solver. Finally, we extend LESS embeddings to include uniformly sparsified random sign matrices which can be implemented efficiently and which perform well in numerical experiments.

研究の動機と目的

• 大規模問題におけるヘッセ行列の計算による2次最適化の計算ボトル neck を解消すること。
• 確率的ニュートン法におけるスケッチコストと収束レートのトレードオフを解消すること。
• ガウス埋め込みの強力な収束保証を維持しながら、スパース化によって効率的な計算を可能にするスケッチ手法を開発すること。
• スパース化スケッチが、密度のあるガウススケッチの収束行動を劣化させることなく再現できることを示すこと。
• LESS 埋め込みがニュートン型ソルバーにおける密度付きスケッチの実用的代替手段であることを理論的および実験的に検証すること。

提案手法

• ヘッセ行列の近似に Leverage Score Sparsified (LESS) 埋め込みを用いる、確率的2次最適化手法である Newton-LESS を提案する。
• 各行に固定された非ゼロ要素数を持つスケッチ行列を採用し、分散を維持するために一様にランダムに選択された非ゼロ要素を再スケーリングする。
• ガウス埋め込みの均一ランダムスパース化を用い、各行に正確に $ d $ 個の非ゼロ要素が存在し、$ \pm (n / (m s))^{1/2} $ から一様にランダムに抽出される。
• データ行列 $ \mathbf{A}_f(\mathbf{x}) $ にスケッチを適用することで、ヘッセ行列の計算コストを $ O(nd^2) $ から $ O(md^2) $ に削減し、$ m \ll n $ となる。
• 理論的収束バウンドを導出し、Newton-LESS が $ O(d_{\text{eff}}/m) $ の局所的収束レートを達成することを示し、ガウス埋め込みと同一であることを確認する。
• 効率的な実装と強力な実験的性能を実現するため、均一にスパース化されたランダム符号行列を LESS 埋め込みに拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニュートンスケッチにおける密度のあるガウススケッチ行列を収束レートを劣化させることなくスパース化できるか？
• RQ2 各行に $ d $ 個の非ゼロ要素しか持たないスパース化スケッチ行列が、ガウス埋め込みの問題に依存しない収束保証を維持できるか？
• RQ3 ガウス埋め込みの均一ランダムスパース化が、密度のあるスケッチと同等の収束レートを達成できるか？
• RQ4 Newton-LESS の理論的収束レートは何か？ また、サブサンプリングや SRHT といった既存のスケッチ手法と比較してどうか？
• RQ5 Newton-LESS は多様なデータセットにおいて実際の性能（ウォルクロック時間と誤差低減）においてどのように振る舞うか？

主な発見

• Newton-LESS は $ O(d_{\text{eff}}/m) $ の局所的収束レートを達成し、定数要因だけでなく低次の項においてもガウス埋め込みの理論的レートと一致する。
• テストされたすべてのデータセット（高コherenceを持つ合成データ、Musk、CIFAR-10、WESAD を含む）において、ガウススケッチとほぼ同一の収束行動を示す。
• 均一にスパース化された LESS 埋め込み（LESS-uniform）は、各行に $ d $ 個の非ゼロ要素しか持たないにもかかわらず、収束においてガウス埋め込みとほぼ同一の性能を示す。
• 数値実験では顕著な高速化が確認され、LESS-uniform は誤差低減の水準を維持しながら、密度のあるガウススケッチに比べてウォルクロック時間を著しく短縮する。
• 正則化付き最小二乗問題において、Newton-LESS は $ d_{\text{eff}}/m $ で抑えられる収束レートを達成し、理論的予測を確認するとともに、サブサンプリングやレバレッジスコアサンプリングを上回る収束速度を示す。
• 計算コストを低く抑えつつ強固な収束保証を有するという点で、Newton-LESS は反復的最小二乗法ソルバーにおける新たな最先端水準を確立する。