[論文レビュー] Faster Eigenvector Computation via Shift-and-Invert Preconditioning

Dan Garber, Elad Hazan+5 more|arXiv (Cornell University)|May 26, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 34

ひとこと要約

本稿では、シフト・アンド・インバートプリコンディショニングと確率的バリアンス低減勾配（SVRG）ソルバーを組み合わせることで、行列の最大固有ベクトルを計算するためのより高速なアルゴリズムを提示する。非ゼロ要素数とスペクトルギャップの依存関係を分離することで、古典的なパワー法やランチョス法よりも著しく優れたランタイムバウンドを達成し、具体的には $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A}) + \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}\big]\cdot\log 1/\epsilon\big)$ および $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A})^{3/4}(d\cdot\text{sr}(\mathbf{A}))^{1/4}/\sqrt{\text{gap}}\big]\cdot\log 1/\epsilon\big)$ を達成する。

ABSTRACT

We give faster algorithms and improved sample complexities for estimating the top eigenvector of a matrix $Σ$ -- i.e. computing a unit vector $x$ such that $x^T Σx \ge (1-ε)λ_1(Σ)$: Offline Eigenvector Estimation: Given an explicit $A \in \mathbb{R}^{n imes d}$ with $Σ= A^TA$, we show how to compute an $ε$ approximate top eigenvector in time $ ilde O([nnz(A) + \frac{d*sr(A)}{gap^2} ]* \log 1/ε)$ and $ ilde O([\frac{nnz(A)^{3/4} (d*sr(A))^{1/4}}{\sqrt{gap}} ] * \log 1/ε)$. Here $nnz(A)$ is the number of nonzeros in $A$, $sr(A)$ is the stable rank, $gap$ is the relative eigengap. By separating the $gap$ dependence from the $nnz(A)$ term, our first runtime improves upon the classical power and Lanczos methods. It also improves prior work using fast subspace embeddings [AC09, CW13] and stochastic optimization [Sha15c], giving significantly better dependencies on $sr(A)$ and $ε$. Our second running time improves these further when $nnz(A) \le \frac{d*sr(A)}{gap^2}$. Online Eigenvector Estimation: Given a distribution $D$ with covariance matrix $Σ$ and a vector $x_0$ which is an $O(gap)$ approximate top eigenvector for $Σ$, we show how to refine to an $ε$ approximation using $ O(\frac{var(D)}{gap*ε})$ samples from $D$. Here $var(D)$ is a natural notion of variance. Combining our algorithm with previous work to initialize $x_0$, we obtain improved sample complexity and runtime results under a variety of assumptions on $D$. We achieve our results using a general framework that we believe is of independent interest. We give a robust analysis of the classic method of shift-and-invert preconditioning to reduce eigenvector computation to approximately solving a sequence of linear systems. We then apply fast stochastic variance reduced gradient (SVRG) based system solvers to achieve our claims.

研究の動機と目的

• オフラインおよびオンライン設定の両方において、特に固有ギャップが小さい場合に、最大固有ベクトル計算のためのより高速なアルゴリズムを開発すること。
• 入力行列の非ゼロ要素数（nnz）と安定ランク（sr）に対するランタイム依存関係を改善すること、特にギャップ依存関係をnnz項から分離すること。
• オンライン設定において、初期の近似最大固有ベクトルを、$O(\text{v}(\mathcal{D})/(\text{gap} \cdot \epsilon))$ のサンプルのみを用いて改善することで、より良いサンプル複雑度を達成すること。
• 固有ベクトル計算におけるシフト・アンド・インバートプリコンディショニングの堅牢な理論的分析を提供し、良好に条件付けられた線形システムの解法への効率的還元を可能にすること。
• シフト・アンド・インバートと現代の確率的ソルバー（例：SVRG）を組み合わせることで、古典的手法よりも理論的にも実用的にも高速な収束を達成できることを示すこと。

提案手法

• $\lambda \approx \lambda_1(\mathbf{A}^\top\mathbf{A})$ を用いて $\mathbf{B} = \lambda\mathbf{I} - \mathbf{A}^\top\mathbf{A}$ を構築することで、シフト・アンド・インバートプリコンディショニングを適用し、最大固有ベクトル問題を有効ギャップがより大きい問題に変換する。
• 固有ベクトル計算を、$\mathbf{B}$ における一連の線形システムの近似解法に還元する。シフトのおかげでこれらのシステムは良好に条件付けられている。
• 低メモリかつ1サンプルあたりの計算コストに比例する、確率的バリアンス低減勾配（SVRG）法を用いて、これらの線形システムを効率的に解く。
• 反転パワー法を $\mathbf{B}^{-1}$ に適用し、$\mathbf{A}^\top\mathbf{A}$ の最大固有ベクトルへの近似を反復的に改善する。
• 誤差が線形システムの解法に与える影響が悪化しないように保証する堅牢な解析により、高確率で $\epsilon$-精度を維持する。
• スペクトル的性質（安定ランクと固有ギャップを介して）とデータのスパarsity（nnz を介して）を分離することで、よりタイトなランタイムバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 固有ギャップが小さい場合に、シフト・アンド・インバートプリコンディショニングを堅牢に分析することで、より高速な固有ベクトル計算が可能になるか。
• RQ2 最大固有ベクトルアルゴリズムのランタイムにおいて、非ゼロ要素数と安定ランクの依存関係を分離できるか。
• RQ3 分布へのアクセスが得られるオンライン設定において、初期の近似最大固有ベクトルを refining するための最適なサンプル複雑度は何か。
• RQ4 SVRGベースのソルバーをシフト・アンド・インバートと効果的に組み合わせることで、古典的手法よりも高速な収束が達成できるか。
• RQ5 確率的線形システムソルバーを用いたプリコンディショニング付きパワー法の、ランタイムおよびサンプル複雑度の理論的バウンドは何か。

主な発見

• オフラインアルゴリズムは、$\widetilde{O}\big(\big[\text{nnz}(\mathbf{A}) + \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}\big]\cdot\log 1/\epsilon\big)$ のランタイムを達成し、ギャップとnnzの依存関係を分離することで、パワー法やランチョス法を上回る。
• 加速版では、$\widetilde{O}\big(\big[\text{nnz}(\mathbf{A})^{3/4}(d\cdot\text{sr}(\mathbf{A}))^{1/4}/\sqrt{\text{gap}}\big]\cdot\log 1/\epsilon\big)$ を達成し、$\text{nnz}(\mathbf{A}) \leq \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}$ の場合にそれらよりも高速である。
• オンライン設定では、$O(\text{v}(\mathcal{D})/(\text{gap} \cdot \epsilon))$ のサンプルのみで、$O(\text{gap})$-近似固有ベクトルを改善でき、サンプル複雑度が向上する。
• SVRGベースのソルバーを用いて $\mathbf{B}$ の線形システムを解くことで、$1 - O(1/d^{10})$ の信頼度で高確率で $\epsilon$-精度を達成する。
• 理論的解析により、線形システムの解法における誤差伝搬が制御されており、反復の間でも $\Omega(\alpha_1^2)$ の成分が最大固有ベクトル方向に維持される。
• 結果から、シフト・アンド・インバート法は理論的にも的確であり、実世界の応用においてさらなる向上が期待できる可能性がある。