[論文レビュー] Sharper Bounds for Regression and Low-Rank Approximation with Regularization.

Haim Avron, Kenneth L. Clarkson+1 more|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

この論文は、行列スケッチを用いた正則化回帰および低ランク近似のための鋭いアルゴリズム的バウンドを導入し、資源複雑度において伝統的なランクの代わりに統計次元を用いる。リッジ正則化付き低ランク近似において、最適解の統計次元に比例する時間計算量を達成し、強い正則化下で顕著な性能向上をもたらす。

ABSTRACT

The technique of matrix sketching, such as the use of random projections, has been shown in recent years to be a powerful tool for accelerating many important statistical learning techniques. Research has so far focused largely on using sketching for the vanilla un-regularized versions of these techniques. Here we study sketching methods for regularized variants of linear regression, low rank approximations, and canonical correlation analysis. We study regularization both in a fairly broad setting, and in the specific context of the popular and widely used technique of ridge regularization; for the latter, as applied to each of these problems, we show algorithmic resource bounds in which the {\em statistical dimension} appears in places where in previous bounds the rank would appear. The statistical dimension is always smaller than the rank, and decreases as the amount of regularization increases. In particular, for the ridge low-rank approximation problem $\min_{Y,X} \lVert YX - A Vert_F^2 + \lambda \lVert Y Vert_F^2 + \lambda\lVert X Vert_F^2$, where $Y\in\mathbb{R}^{n imes k}$ and $X\in\mathbb{R}^{k imes d}$, we give an approximation algorithm needing \[ O(\mathtt{nnz}(A)) + ilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\})+ ilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3) \] time, where $s_{\lambda}(Y^*)\le k$ is the statistical dimension of $Y^*$, $Y^*$ is an optimal $Y$, $\varepsilon$ is an error parameter, and $\mathtt{nnz}(A)$ is the number of nonzero entries of $A$. We also study regularization in a much more general setting. For example, we obtain sketching-based algorithms for the low-rank approximation problem $\min_{X,Y} \lVert YX - A Vert_F^2 + f(Y,X)$ where $f(\cdot,\cdot)$ is a regularizing function satisfying some very general conditions (chiefly, invariance under orthogonal transformations).

研究の動機と目的

• 線形回帰、低ランク近似、および標準的相関分析の非正則化版から正則化版への行列スケッチ技術の拡張。
• アルゴリズム的リソースバウンドにおけるランクを、常に小さく、正則化が強くなるほど減少する統計次元に置き換え。
• 直交変換に対して不変である一般の正則化子を満たす低ランク近似のための効率的なスケッチベースのアルゴリズムの開発。
• 最適解の内在的複雑性を統計次元を介して反映する、よりタイトな時間計算量バウンドの提供。

提案手法

• ランダム射影による行列スケッチを用いて、正則化学習問題の高速化を図りつつ、精度を維持する。
• ランクに基づくバウンドを、統計次元 $\mathtt{sd}_\lambda(Y^*)$ に基づくバウンドに置き換え、ここで $\mathtt{sd}_\lambda(Y^*)$ は $Y^{*\top}Y^*(Y^{*\top}Y^* + \lambda I)^{-1}$ のトレースとして定義される。
• スケッチをリッジ正則化付き低ランク近似問題 $\min_{Y,X} \|YX - A\|_F^2 + \lambda \|Y\|_F^2 + \lambda \|X\|_F^2$ に適用し、時間計算量 $O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$ を導出する。
• 任意の正則化子 $f(Y,X)$ が直交変換に対して不変である場合に一般化する。
• 正則化された目的関数の構造を保ちつつ、計算コストを削減するスケッチ技術を採用する。

実験結果

リサーチクエスチョン

• RQ1 行列スケッチは、低ランク近似および回帰の正則化版に効果的に拡張可能か？
• RQ2 アルゴリズム的バウンドにおけるランクを統計次元に置き換えることで、よりタイトで実用的な複雑度保証が得られるか？
• RQ3 最適解の統計次元は、リッジ正則化付き問題におけるスケッチベースのアルゴリズムの性能にどのように影響するか？
• RQ4 直交不変性を満たす一般の正則化子に対して、スケッチベースのアルゴリズムを設計可能か？
• RQ5 スケッチを用いた正則化付き低ランク近似において、近似誤差と計算コストの最適なトレードオフは何か？

主な発見

• リッジ正則化付き低ランク近似の時間計算量は、ランクではなく統計次元 $\mathtt{sd}_\lambda(Y^*)$ に比例するため、強い正則化下でより良いバウンドが得られる。
• 提案されたアルゴリズムは、$O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$ の時間計算量で $\varepsilon$-近似解を達成する。
• 統計次元 $\mathtt{sd}_\lambda(Y^*)$ は常に $k$ 以下であり、正則化パラメータ $\lambda$ が大きくなるほど減少し、有効次元の低下を反映する。
• このフレームワークはリッジ正則化を越えて、直交変換に対して不変である任意の正則化子 $f(Y,X)$ に一般化可能である。
• 統計次元がランクよりも著しく小さい場合（強い正則化時）、先行研究よりもバウンドがタイトである。
• 結果は、スケッチを正則化問題に効率的に適用可能であり、解の真の複雑性を反映する保証付きの結果をもたらすことを示している。