[論文レビュー] Robust Shift-and-Invert Preconditioning: Faster and More Sample Efficient Algorithms for Eigenvector Computation

Chi Jin, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 29, 2015

Stochastic Gradient Optimization Techniques参考文献 20被引用数 16

ひとこと要約

本稿では、頑健なシフト・アンド・インバース条件付けを用いて、行列の最大固有ベクトルを計算するための高速でサンプル効率の良いアルゴリズムを提示する。固有ベクトル計算は、分散低減勾配法を用いた線形システムの解法に還元され、一般条件下で漸近的に最適な実行時間とサンプル複雑性の境界を達成する。

ABSTRACT

We provide faster algorithms and improved sample complexities for approximating the top eigenvector of a matrix. Offline Setting: Given an $n imes d$ matrix $A$, we show how to compute an $ε$ approximate top eigenvector in time $ ilde O ( [nnz(A) + \frac{d \cdot sr(A)}{gap^2}]\cdot \log 1/ε)$ and $ ilde O([\frac{nnz(A)^{3/4} (d \cdot sr(A))^{1/4}}{\sqrt{gap}}]\cdot \log1/ε)$. Here $sr(A)$ is the stable rank and $gap$ is the multiplicative eigenvalue gap. By separating the $gap$ dependence from $nnz(A)$ we improve on the classic power and Lanczos methods. We also improve prior work using fast subspace embeddings and stochastic optimization, giving significantly improved dependencies on $sr(A)$ and $ε$. Our second running time improves this further when $nnz(A) \le \frac{d\cdot sr(A)}{gap^2}$. Online Setting: Given a distribution $D$ with covariance matrix $Σ$ and a vector $x_0$ which is an $O(gap)$ approximate top eigenvector for $Σ$, we show how to refine to an $ε$ approximation using $ ilde O(\frac{v(D)}{gap^2} + \frac{v(D)}{gap \cdot ε})$ samples from $D$. Here $v(D)$ is a natural variance measure. Combining our algorithm with previous work to initialize $x_0$, we obtain a number of improved sample complexity and runtime results. For general distributions, we achieve asymptotically optimal accuracy as a function of sample size as the number of samples grows large. Our results center around a robust analysis of the classic method of shift-and-invert preconditioning to reduce eigenvector computation to approximately solving a sequence of linear systems. We then apply fast SVRG based approximate system solvers to achieve our claims. We believe our results suggest the general effectiveness of shift-and-invert based approaches and imply that further computational gains may be reaped in practice.

研究の動機と目的

• 特に固有値ギャップが小さい場合に顕著な計算非効率性を示す伝統的なパワー法およびランチョス法の固有ベクトル計算に対する非効率性を是正する。
• 行列の安定ランクと固有値ギャップへの依存を分離することで、オフラインおよびオンライン両方の固有ベクトル推定を改善する。
• 潜在的な分布の分散を分析することにより、オンライン設定における漸近的に最適なサンプル複雑性を達成する。
• 反復的線形システムの解法における近似誤差に対しても収束を保証する、効果的なシフト・アンド・インバース条件付けの頑健なフレームワークを構築する。

提案手法

• 最大固有ベクトル問題を、行列 $\lambda\mathbf{I} - \mathbf{A}^\top\mathbf{A}$ における一連の線形システムの解法に変換するため、シフト・アンド・インバース条件付けを適用する。ここで $\lambda \approx \lambda_1(\mathbf{A}^\top\mathbf{A})$ である。
• 収束保証が向上するように、Stochastic Variance Reduced Gradient (SVRG) の変種を用いて線形システムを近似的に解く。
• 線形システムの解法における近似誤差に対しても収束を保証する、シフト・インバースパワー法の頑健な解析を導入する。
• オンライン設定におけるサンプル複雑性を特徴付けるために、分布依存の分散測度 $\operatorname{v}(\mathcal{D})$ を定義する。
• 提案されたアルゴリズムを既存の初期化手法と組み合わせることで、さまざまな分布的仮定下で、サンプル複雑性および実行時間複雑性を改善する。
• レイリー商の変化と固有値ギャップの進化を分析することで、アルゴリズムの収束速度に関する理論的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 行列の安定ランクと固有値ギャップへの依存を分離できる、実行時間が分離された固有ベクトル計算アルゴリズムを設計することは可能か？
• RQ2 特にサンプル数が大きくなる際の統計的設定において、オンライン固有ベクトル推定のための最適なサンプル複雑性を達成することは可能か？
• RQ3 分散低減最適化と効果的に組み合わせることで、シフト・アンド・インバース条件付けを用いて線形システムをより効率的に解くことは可能か？
• RQ4 一般分布に対して、提案手法がサンプル複雑性の意味で漸近的に最適性を達成できるか？
• RQ5 オフラインおよびオンラインの両設定において、安定ランクと固有値ギャップに対するアルゴリズムのスケーリング特性はどのように変化するか？

主な発見

• オフライン固有ベクトル計算において、アルゴリズムは $\widetilde{O}\left(\left[\operatorname{nnz}(\mathbf{A}) + \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}\right]\cdot\log\frac{1}{\epsilon}\right)$ の実行時間を達成し、古典的なパワー法およびランチョス法を上回る。
• 特に $\operatorname{nnz}(\mathbf{A}) \leq \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}$ のスパースな状況では、$\widetilde{O}\left(\left[\frac{\operatorname{nnz}(\mathbf{A})^{3/4}(d\operatorname{sr}(\mathbf{A}))^{1/4}}{\sqrt{\mathrm{gap}}}\right]\cdot\log\frac{1}{\epsilon}\right)$ の代替実行時間が達成され、さらなる改善が得られる。
• オンライン設定では、$\epsilon$-近似最大固有ベクトルを計算するために $\widetilde{O}\left(\frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap}^2} + \frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap} \cdot \epsilon}\right)$ のサンプルが必要である。
• 一般分布に対して、サンプル複雑性が漸近的に最適であることが証明されており、ガウススパイクモデルからの下界と一致する。
• 大サンプル数の設定において、アルゴリズムはサンプルサイズの関数として最適な精度を達成する。$\epsilon$-精度を得るには $n = \Theta\left(\frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap}^2 \epsilon}\right)$ のサンプルが必要である。
• 理論的解析により、線形システムの解法における近似誤差に対してもアルゴリズムの収束が頑健であることが確認され、反復的ソルバーを用いた実用的導入が可能である。