[論文レビュー] Faster Least Squares Optimization

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|Nov 6, 2019

Sparse and Compressive Sensing Techniques参考文献 44被引用数 14

ひとこと要約

本稿は、最小二乗最適化の高速化を目的としたランダム化プリコンディショナの理論的分析を提案し、固定型とリフレッシュ型のスケッチベースプリコンディショナを比較する。反復的ヘシアンスケッチ（IHS）にリフレッシュ型スケッチを適用した場合の期待収束速度について閉形式の式を導出し、ヘビィボールモーメンタムがこの収束速度を向上させないことを示し、最適なスケッチサイズを用いたプリコンディショニング共役勾配法（PCG）の採用を提案することで、最新の計算複雑度を達成する。

ABSTRACT

We investigate iterative methods with randomized preconditioners for solving overdetermined least-squares problems, where the preconditioners are based on a random embedding of the data matrix. We consider two distinct approaches: the sketch is either computed once (fixed preconditioner), or, the random projection is refreshed at each iteration, i.e., sampled independently of previous ones (varying preconditioners). Although fixed sketching-based preconditioners have received considerable attention in the recent literature, little is known about the performance of refreshed sketches. For a fixed sketch, we characterize the optimal iterative method, that is, the preconditioned conjugate gradient as well as its rate of convergence in terms of the subspace embedding properties of the random embedding. For refreshed sketches, we provide a closed-form formula for the expected error of the iterative Hessian sketch (IHS), a.k.a. preconditioned steepest descent. In contrast to the guarantees and analysis for fixed preconditioners based on subspace embedding properties, our formula is exact and it involves the expected inverse moments of the random projection. Our main technical contribution is to show that this convergence rate is, surprisingly, unimprovable with heavy-ball momentum. Additionally, we construct the locally optimal first-order method whose convergence rate is bounded by that of the IHS. Based on these theoretical and numerical investigations, we do not observe that the additional randomness of refreshed sketches provides a clear advantage over a fixed preconditioner. Therefore, we prescribe PCG as the method of choice along with an optimized sketch size according to our analysis. Our prescribed sketch size yields state-of-the-art computational complexity for solving highly overdetermined linear systems. Lastly, we illustrate the numerical benefits of our algorithms.

研究の動機と目的

• 過決定型最小二乗問題におけるランダム化プリコンディショニング付き反復的アルゴリズムの統一的理論枠組みを提供すること。
• 反復的ソルバにおける固定型とリフレッシュ型スケッチベースプリコンディショナの収束挙動を比較すること。
• リフレッシュ型スケッチの追加のランダム性が固定プリコンディショナーよりも収束を改善するかを特定すること。
• 独立同分布のスケッチ行列を用いた反復的ヘシアンスケッチ（IHS）の正確な収束速度を導出すること。
• さまざまなプリコンディショナの下で最適な一次および共役勾配法を同定すること。

提案手法

• 最小二乗問題におけるヘシアン行列 $ H = A^ op A $ のプリコンディショニングに、データに依存しないランダム埋め込み（スケッチ）を用いる。
• 2つの設定を分析する：各反復で固定されたスケッチ行列 $ S $ と、各反復で独立にリフレッシュされるスケッチ行列 $ S_t $ 。
• ランダム射影の期待逆モーメントを用いて、反復的ヘシアンスケッチ（IHS）の期待誤差に対する閉形式の公式を導出する。
• IHSの収束速度を上限づける局所的に最適な一次法を特徴づけ、一次法の理論的ベンチマークを提供する。
• ヘビィボールモーメンタムを備えたIHS（ポリャク-IHS）と比較し、IHSの収束速度を向上させないことを示す。
• 提案手法を柔軟かつ不正確なプリコンディショニング共役勾配法と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 リフレッシュ型スケッチは、最小二乗最適化において固定プリコンディショナーよりも明示的な収束利点を提供できるか？
• RQ2 独立同分布のスケッチ行列を用いた反復的ヘシアンスケッチ（IHS）の正確な期待収束速度は何か？
• RQ3 ヘビィボールモーメンタムは、リフレッシュ型スケッチを用いたIHSの加速に有効か？
• RQ4 理想化されたRAMモデルにおいて、計算複雑度を最小化する最適なスケッチサイズは何か？
• RQ5 固定プリコンディショナーを用いたPCGと比較して、IHSの収束はどのように異なるか？

主な発見

• リフレッシュ型スケッチを用いた反復的ヘシアンスケッチ（IHS）の期待収束速度は、ランダム射影行列の期待逆モーメントを含む閉形式の式で与えられる。
• ヘビィボールモーメンタムは、リフレッシュ型スケッチを用いたIHSの収束速度を向上させないため、この設定では改善不能である。
• 局所的に最適な一次法の収束速度はIHSの収束速度を上限づけ、さまざまなプリコンディショナを用いた一次法の理論的ベンチマークを提供する。
• 数値実験の結果、実際にはリフレッシュ型スケッチが固定プリコンディショナーに優位性を示さない。
• 最適なスケッチサイズを用いたプリコンディショニング共役勾配法（PCG）は、過決定度の高いシステムにおいて、フロップ数という観点から最新の計算複雑度を達成する。
• 理論的および実験的分析に基づき、本稿は最適なスケッチサイズを用いたPCGを推奨する。