[論文レビュー] Exploiting Numerical Sparsity for Efficient Learning : Faster Eigenvector Computation and Regression

Neha Gupta, Aaron Sidford|arXiv (Cornell University)|Nov 27, 2018

Matrix Theory and Algorithms被引用数 5

ひとこと要約

本稿では、データ行列における数値スパarsityを活用することで、トップ固有ベクトル計算および回帰のためのより高速なアルゴリズムを提示する。SVRGにおける座標サンプリングと、固有ベクトル計算に特化した新しい線形代数的データ構造を導入し、入力サイズおよび固有値や ℓ₁/ℓ₂ 範数といった自然な数値的測度にのみ依存する、より速い実行時間の実現に成功。多くの状況で先行手法を著しく上回る性能を発揮する。

ABSTRACT

In this paper, we obtain improved running times for regression and top eigenvector computation for numerically sparse matrices. Given a data matrix $A \in \mathbb{R}^{n imes d}$ where every row $a \in \mathbb{R}^d$ has $\|a\|_2^2 \leq L$ and numerical sparsity at most $s$, i.e. $\|a\|_1^2 / \|a\|_2^2 \leq s$, we provide faster algorithms for these problems in many parameter settings. For top eigenvector computation, we obtain a running time of $ ilde{O}(nd + r(s + \sqrt{r s}) / \mathrm{gap}^2)$ where $\mathrm{gap} > 0$ is the relative gap between the top two eigenvectors of $A^ op A$ and $r$ is the stable rank of $A$. This running time improves upon the previous best unaccelerated running time of $O(nd + r d / \mathrm{gap}^2)$ as it is always the case that $r \leq d$ and $s \leq d$. For regression, we obtain a running time of $ ilde{O}(nd + (nL / μ) \sqrt{s nL / μ})$ where $μ> 0$ is the smallest eigenvalue of $A^ op A$. This running time improves upon the previous best unaccelerated running time of $ ilde{O}(nd + n L d / μ)$. This result expands the regimes where regression can be solved in nearly linear time from when $L/μ= ilde{O}(1)$ to when $L / μ= ilde{O}(d^{2/3} / (sn)^{1/3})$. Furthermore, we obtain similar improvements even when row norms and numerical sparsities are non-uniform and we show how to achieve even faster running times by accelerating using approximate proximal point [Frostig et. al. 2015] / catalyst [Lin et. al. 2015]. Our running times depend only on the size of the input and natural numerical measures of the matrix, i.e. eigenvalues and $\ell_p$ norms, making progress on a key open problem regarding optimal running times for efficient large-scale learning.

研究の動機と目的

• 大規模な学習におけるトップ固有ベクトル計算および回帰のためのより高速なアルゴリズムを開発すること。そのために、データ行列の数値スパarsityを活用する。
• 条件数や行スパarsityといった問題パラメータへの実行時間依存性を低減し、脆いスパarsity測度を超えること。
• 従来の知られていた範囲よりも広いパrameter範囲で、ほぼ線形時間性能を達成すること。
• 入力サイズおよび固有値や ℓ_p 範数といった内在的な数値的量にのみ依存する実行時間の提供により、効率的学習分野における重要な未解決問題を解消すること。

提案手法

• 有限和最適化のための確率的分散低減勾配降下法（SVRG）に座標サンプリング技術を適用し、勾配計算の高速化を実現する。
• 固有ベクトル計算に特化した新しい線形代数的データ構造を導入し、スパースな状況での効率性を向上させる。
• 行列の要素ごとのスパース化を用いて、AᵀA をスパース行列 Â で近似し、所望の誤差境界内でのスペクトル近似を保証する。
• 近似プロキシマルポイント法およびキャタリスト加速を用いて、回帰および固有ベクトル問題の両方で収束をさらに高速化する。
• 各行列の行について、‖aᵢ‖₁² / ‖aᵢ‖₂² ≤ s を満たす数値スパarsity s を用いて、反復コストの低減を図る。
• 最悪ケースの d や均一なスパarsity ではなく、安定ランク r、数値スパarsity s、スペクトルギャップに依存する実行時間の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsityではなく、数値スパarsityを活用することで、回帰およびトップ固有ベクトル計算の実行時間をより速くできるか？
• RQ2 どのようなパrameter範囲で、回帰および固有ベクトル計算に対してほぼ線形時間のアルゴリズムを達成できるか？
• RQ3 反復コストが固有値や ℓ₁/ℓ₂ 範数といった自然な数値的行列測度にのみ依存する反復的アルゴリズムをどのように設計できるか？
• RQ4 SVRGにおける座標サンプリングは、学習分野の有限和問題において、標準的な確率的手法を上回る、保証された高速収束をもたらすか？

主な発見

• トップ固有ベクトル計算において、実行時間は Õ(nd + r(s + √(rs))/gap²) に達し、従来の最良の O(nd + rd/gap²) よりも d や s への依存性が低減されている。
• 回帰においては、実行時間は Õ(nd + (nL/μ)√(snL/μ)) に達し、従来の最良の Õ(nd + nLd/μ) よりも高速であり、ほぼ線形時間の範囲が L/μ = Õ(d²ᐟ³ / (sn)¹ᐟ³) に拡張された。
• 実行時間は入力サイズ、安定ランク r、数値スパarsity s、スペクトルギャップ、固有値パラメータにのみ依存し、脆い重み付きスパarsity測度を避ける。
• 非一様な行ノルムや数値スパarsityに対しても、キャタリストおよび近似プロキシマルポイント加速によりさらなる高速化が達成可能である。
• 結果として、数値スパarsityが保証された高速収束を可能にし、大規模学習における最適反復手法の主要な未解決問題を解消したことが示された。