[論文レビュー] A Statistical Perspective on Randomized Sketching for Ordinary Least-Squares

Garvesh Raskutti, Michael W. Mahoney|arXiv (Cornell University)|Jun 23, 2014

Sparse and Compressive Sensing Techniques参考文献 26被引用数 18

ひとこと要約

本稿は、通常最小二乗回帰におけるランダムスケッチの分析のための統一的統計的・アルゴリズム的枠組みを提示する。残差効率は $ r leq p \ll n $ の条件下で達成可能であることが示され、予測効率にははるかに大きなスケッチサイズを要することが判明し、ランダム射影およびサンプリング手法の両方に対して、両指標のタイトな上限および下限が確立される。

ABSTRACT

We consider statistical as well as algorithmic aspects of solving large-scale least-squares (LS) problems using randomized sketching algorithms. For a LS problem with input data $(X, Y) \in \mathbb{R}^{n imes p} imes \mathbb{R}^n$, sketching algorithms use a sketching matrix, $S\in\mathbb{R}^{r imes n}$ with $r \ll n$. Then, rather than solving the LS problem using the full data $(X,Y)$, sketching algorithms solve the LS problem using only the sketched data $(SX, SY)$. Prior work has typically adopted an algorithmic perspective, in that it has made no statistical assumptions on the input $X$ and $Y$, and instead it has been assumed that the data $(X,Y)$ are fixed and worst-case (WC). Prior results show that, when using sketching matrices such as random projections and leverage-score sampling algorithms, with $p < r \ll n$, the WC error is the same as solving the original problem, up to a small constant. From a statistical perspective, we typically consider the mean-squared error performance of randomized sketching algorithms, when data $(X, Y)$ are generated according to a statistical model $Y = X β+ ε$, where $ε$ is a noise process. We provide a rigorous comparison of both perspectives leading to insights on how they differ. To do this, we first develop a framework for assessing algorithmic and statistical aspects of randomized sketching methods. We then consider the statistical prediction efficiency (PE) and the statistical residual efficiency (RE) of the sketched LS estimator; and we use our framework to provide upper bounds for several types of random projection and random sampling sketching algorithms. Among other results, we show that the RE can be upper bounded when $p < r \ll n$ while the PE typically requires the sample size $r$ to be substantially larger. Lower bounds developed in subsequent results show that our upper bounds on PE can not be improved.

研究の動機と目的

• 大規模な最小二乗問題におけるランダムスケッチのアルゴリズム的および統計的視点を統合すること。
• 線形モデル $ Y = X\beta + \epsilon $ の下でスケッチ推定量の統計的性能を分析すること。
• ランダム射影およびサンプリングスケッチ行列に対する統計的予測効率（PE）および残差効率（RE）の上界を導出すること。
• PEはREよりも著しく大きなスケッチサイズを要することを確立し、下界を用いてこれらの境界がタイトであることを示すこと。

提案手法

• ランダムスケッチ手法のアルゴリズム的および統計的側面を評価する統一的枠組みを構築する。
• スケッチ行列 $ S \in \mathbb{R}^{r \times n} $ を用いて $ r \ll n $ となるように、$ \min_\beta \|SY - SX\beta\|_2^2 $ を解くことで得られるスケッチ済み最小二乗推定量 $ \beta_S $ を分析する。
• 2つの統計的性能指標、予測効率（PE）および残差効率（RE）を導入し、それらの境界を設定する。
• 集中不等式およびトレースに基づく解析を用いて、$ X $ の右特異ベクトル行列 $ U $ に対して $ U^T S^T S U $ の期待フロベニウスノルムを境界づける。
• マルコフの不等式およびハダマードに基づくスケッチに関する既存の結果を適用し、条件数および誤差増幅の高確率境界を導出する。
• 上界が改善できないことを示す下界を導出し、解析のタイトさを確立する。

実験結果

リサーチクエスチョン

• RQ1 ランダムスケッチのアルゴリズム的および統計的視点は、最小二乗問題における性能保証においてどのように異なるか？
• RQ2 スケッチ推定量が統計モデル内で残差効率（RE）を達成するためのスケッチサイズ条件は何か？
• RQ3 スケッチ推定量が予測効率（PE）を達成するために必要なスケッチサイズは何か？ これはREと比べてどう異なるか？
• RQ4 PEの上界を改善できるか、それともタイトな境界であるか？
• RQ5 異なるスケッチ手法—ランダム射影およびランダムサンプリング—は統計的効率の観点からどのように比較できるか？

主な発見

• 残差効率（RE）は $ p \lesssim r \ll n $ の条件下で上界づけられ、これは小さなスケッチでもスケッチが残差誤差を良好に保持することを示している。
• 予測効率（PE）は通常、スケッチサイズ $ r $ が $ p $ よりも著しく大きい必要があることが示され、統計的性能においてREとPEの根本的な隔たりが明らかになる。
• PEの上界は、一致する下界によってタイトであることが示され、導出された境界は改善できないことが証明される。
• ガウスランダム射影の場合、スケッチシステムの条件数 $ \gamma(S) $ は高確率で $ 1 + \frac{n+1}{r} $ に有界であり、良好な安定性を示す。
• ハダマードに基づくスケッチの場合、既存の集中結果を活用して $ \|U^T S^T S \|_F^2 / p $ を境界づけ、$ \gamma(S) \leq 11(1 + \frac{n+1}{r}) $ が確率 0.9 以上で成り立つことを示す。
• 解析により、ランダムサンプリングスケッチ（SGP）が $ \mathbb{E}[\|U^T S^T S U\|_F^2 / p] \leq 1 + \frac{n+1}{r} $ を満たすことが確認され、その統計的頑健性が裏付けられる。