[論文レビュー] Sharper Bounds for Regularized Data Fitting

Haim Avron, Kenneth L. Clarkson+1 more|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用数 4

ひとこと要約

この論文は、線形回帰、低ランク近似、およびコピュラ相関分析における正則化付き行列スケッチのための、ランクの代わりに統計次元を用いたより鋭いリソースバウンドを導入する。ランダム化されたスケッチアルゴリズムの複雑さにおいて、ランクの代わりに統計次元を用いることで、リッジ正則化がより高速なアルゴリズムを可能にし、実行時間は最適解の統計次元に依存することが示されている。統計次元は常にランク以下の値を取り、正則化が強くなるほど減少する。

ABSTRACT

We study matrix sketching methods for regularized variants of linear regression, low rank approximation, and canonical correlation analysis. Our main focus is on sketching techniques which preserve the objective function value for regularized problems, which is an area that has remained largely unexplored. We study regularization both in a fairly broad setting, and in the specific context of the popular and widely used technique of ridge regularization; for the latter, as applied to each of these problems, we show algorithmic resource bounds in which the {\em statistical dimension} appears in places where in previous bounds the rank would appear. The statistical dimension is always smaller than the rank, and decreases as the amount of regularization increases. In particular, for the ridge low-rank approximation problem $\min_{Y,X} \lVert YX - A Vert_F^2 + λ\lVert Y Vert_F^2 + λ\lVert X Vert_F^2$, where $Y\in\mathbb{R}^{n imes k}$ and $X\in\mathbb{R}^{k imes d}$, we give an approximation algorithm needing \[ O(\mathtt{nnz}(A)) + ilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_λ(Y^*)\})+ \mathtt{poly}(\mathtt{sd}_λ(Y^*) \varepsilon^{-1}) \] time, where $s_λ(Y^*)\le k$ is the statistical dimension of $Y^*$, $Y^*$ is an optimal $Y$, $\varepsilon$ is an error parameter, and $\mathtt{nnz}(A)$ is the number of nonzero entries of $A$.This is faster than prior work, even when $λ=0$. We also study regularization in a much more general setting. For example, we obtain sketching-based algorithms for the low-rank approximation problem $\min_{X,Y} \lVert YX - A Vert_F^2 + f(Y,X)$ where $f(\cdot,\cdot)$ is a regularizing function satisfying some very general conditions (chiefly, invariance under orthogonal transformations).

研究の動機と目的

• リソースバウンドにおけるランクの代わりに統計次元を用いることで、正則化問題のためのより高速な行列スケッチアルゴリズムを開発すること。
• スケッチベースの手法を、リッジ回帰、低ランク近似、およびコピュラ相関分析を含む広範な正則化問題のクラスに拡張すること。
• 入力データに分布的仮定を課さずに、スケッチ化によって目的関数値が保持されることを理論的に保証すること。
• 実行時間が最適解の統計次元に依存する効率的なアルゴリズムを提供し、ランクに基づくバウンドよりもタイトな境界を得ること。
• ランダム化された特異値近似技術を用いて、線形時間で統計次元を推定すること。

提案手法

• 部分空間およびアフィン埋め込みを保持するように設計されたスパース埋め込みと、サンプリングされたランダム化ハダマード変換（SRHT）を用いて、スケッチ行列を構築する。
• すべての $ x $ に対して $ \|SAx\|_2 \approx \|Ax\|_2 $ を満たすスケッチ行列 $ S $ を適用し、目的関数の保存を保証する。
• スパース埋め込みとSRHTの積を段階的に用いることで、スケッチサイズを小さくし、計算を高速化するスケッチ行列の構築を行う。
• SVDに基づく変換により、低ランク近似を対角ケースに還元し、基本ケースでの計算を効率化する。
• ランダム化アルゴリズムを用いて、行列 $ A $ の最初の $ O(M) $ 個の特異値を加法的誤差まで推定し、統計次元の推定を可能にする。
• 複雑さのバウンドを導出する際、ランクの代わりに $ \operatorname{sd}_\lambda(A) = \sum_{i=1}^k \frac{1}{1 + \lambda / \sigma_i^2} $ という統計次元を用いる。

実験結果

リサーチクエスチョン

• RQ1 スケッチベースのアルゴリズムが、ランクの代わりに統計次元を用いることで、正則化問題におけるリソースバウンドを改善できるか？
• RQ2 リッジ正則化は、低ランク近似および回帰問題におけるスケッチサイズと実行時間にどのように影響するか？
• RQ3 スケッチ手法は、直交変換に対して不変な正則化子を持つ正則化問題へ一般化可能か？
• RQ4 線形時間で行列の統計次元を推定する計算コストはどの程度か？
• RQ5 定数確率で、$ O(\operatorname{nnz}(A)) $ 時間以内に統計次元を定数要因の範囲内で推定できるか？

主な発見

• リッジ低ランク近似において、アルゴリズムの実行時間は $ O(\operatorname{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k\min\{k, \varepsilon^{-1} \operatorname{sd}_\lambda(Y^*)\}) + \mathrm{poly}(\operatorname{sd}_\lambda(Y^*)\varepsilon^{-1}) $ であり、$ \operatorname{sd}_\lambda(Y^*) $ は最適解 $ Y^* $ の統計次元を表す。
• 統計次元 $ \operatorname{sd}_\lambda(A) $ は常にランク以下の値を取り、$ \lambda $ が大きくなるほど減少するため、よりタイトなバウンドが得られる。
• $ \lambda = 0 $ の場合、バウンドは未正則化ケースであっても、先行研究を上回る形に簡略化される。
• 行列 $ A $ の統計次元は、定数確率で $ O(\operatorname{nnz}(A)) $ 時間で定数要因の範囲内で推定可能である。
• 直交変換に対して不変な正則化子を持つ問題に対しては、スケッチベースのアルゴリズムが統計次元に基づく実行時間バウンドを達成する。
• スケッチ行列の構築により、$ SA $ の計算が $ O(\operatorname{nnz}(A)) $ 時間で可能となり、行数が少ないため、線形時間性能が実現される。