[論文レビュー] Asymptotics for Sketching in Least Squares Regression

Edgar Dobriban, Sifan Liu|arXiv (Cornell University)|Oct 14, 2018

Face and Expression Recognition被引用数 24

ひとこと要約

本稿は、最小二乗回帰におけるスケッチの漸近的性能を分析し、設計行列にやや厳しい条件が課せられる場合に、推定および予測の効率性が保持されることを示している。スケッチによる推定誤差、予測誤差、およびサンプル外予測誤差の増加は、すべて有界であり、標本サイズが増加するにつれて消失することが示された。

ABSTRACT

We consider a least squares regression problem where the data has been generated from a linear model, and we are interested to learn the unknown regression parameters. We consider "sketch-and-solve" methods that randomly project the data first, and do regression after. Previous works have analyzed the statistical and computational performance of such methods. However, the existing analysis is not fine-grained enough to show the fundamental differences between various methods, such as the Subsampled Randomized Hadamard Transform (SRHT) and Gaussian projections. In this paper, we make progress on this problem, working in an asymptotic framework where the number of datapoints and dimension of features goes to infinity. We find the limits of the accuracy loss (for estimation and test error) incurred by popular sketching methods. We show separation between different methods, so that SRHT is better than Gaussian projections. Our theoretical results are verified on both real and synthetic data. The analysis of SRHT relies on novel methods from random matrix theory that may be of independent interest.

研究の動機と目的

• 大規模な最小二乗回帰にスケッチを適用した場合のパラメータ推定および予測誤差の漸近的挙動を理解すること。
• スケッチによる分散効率性（VE）、予測効率性（PE）、およびサンプル外予測効率性（OE）の増加を定量化すること。
• スケッチが統計的効率性を保持するための設計行列 𝑋 に対する最小限の仮定を同定すること。
• 高次元設定におけるスケッチ回帰の性能について、フルデータ回帰に対する理論的保証を提供すること。

提案手法

• 著者たちは、𝑛 × 𝑝 の設計行列 𝑋 と応答ベクトル 𝑌 を持つ線形モデル 𝑌 = 𝑋𝛽 + 𝜀 を分析する。
• スケッチを応答および設計行列の両方に適用し、𝑆𝑌 と 𝑆𝑋 を形成する。ここで 𝑆 はランダム射影行列である。
• 主な性能指標である VE、PE、OE は、スケッチによる推定誤差および予測誤差の相対的増加として定義される。
• 漸近的分析は、𝑛 → ∞ となる増大する標本サイズと、固定または増大する次元 𝑝 に対して実施され、スケッチ手法に応じた 𝑋 に関する仮定（例えば、サブガウス型、非一様性、または良好に条件付けられた設計）が設定される。
• 確率的行列理論と集中不等式を用いて、損失関数の期待値の増加に関する理論的境界が導出される。
• スケッチ手法（例えば、ガウス型、ハダマール型、レバレッジスコアに基づくものなど）の違いに応じて、必要となる 𝑋 に関する仮定とそれに伴う効率損失の違いを区別する。

実験結果

リサーチクエスチョン

• RQ1 スケッチは、最小二乗回帰におけるパラメータ推定の分散効率性（VE）にどのように影響するか？
• RQ2 スケッチデータを用いた場合の予測効率性（PE）の漸近的挙動はいかなるものか？
• RQ3 スケッチによってサンプル外予測効率性（OE）はどのように変化し、どのような条件下で保持されるか？
• RQ4 スケッチが統計的効率性を維持するための設計行列 𝑋 に対する必要な仮定は何か？
• RQ5 スケッチによる推定誤差および予測誤差の増加は、有界であり、漸近的に消えることが示せるか？

主な発見

• 𝑋 に対してやや厳しい仮定のもとで、スケッチによる分散効率性（VE）の増加は有界であり、標本サイズ 𝑛 が増加するにつれて 0 に収束する。
• 予測効率性（PE）およびサンプル外予測効率性（OE）についても、有界な増加が生じるが、漸近的に消失し、予測精度が保持される。
• ガウス型またはサブガウス型の射影を用いるスケッチ手法では、スケッチサイズが 𝑋 の有効次元に比例する場合、統計的効率性の損失は無視できるほど小さい。
• 理論的境界から、スケッチによる推定誤差の期待値の増加は 𝑂(𝑝/𝑟) であることが示され、ここで 𝑟 はスケッチサイズである。これは、𝑟 ≫ 𝑝 となるスケッチが高効率を保証することを示唆する。
• 𝑋 に対して非一様性またはサブガウス型の仮定が成り立つ場合、スケッチ推定量の漸近的分布はフルデータ推定量のそれに近い。
• 𝑝 が 𝑛 とともに増大する場合でも、スケッチサイズ 𝑟 が 𝑝 に対して十分に速く増大する限り、結果は成り立つ。