[論文レビュー] A New Theory for Sketching in Linear Regression.

Edgar Dobriban, Sifan Liu|arXiv (Cornell University)|Oct 14, 2018

Random Matrices and Applications参考文献 16被引用数 11

ひとこと要約

本論文は、漸近的ランダム行列理論および自由確率論を用いた新しい理論的枠組みを提示し、線形回帰におけるスケッチの精度損失を正確に定量化する。近似境界を越えて、多様なスケッチ手法における性能劣化の正確な閉形式式を提供しており、シミュレーションおよび実データにおいて高い正確性を示している。

ABSTRACT

Large datasets create opportunities as well as analytic challenges. A recent development is to use random projection or sketching methods for dimension reduction in statistics and machine learning. In this work, we study the statistical performance of sketching algorithms for linear regression. Suppose we randomly project the data matrix and the outcome using a random sketching matrix reducing the sample size, and do linear regression on the resulting data. How much do we lose compared to the original linear regression? The existing theory does not give a precise enough answer, and this has been a bottleneck for using random projections in practice. In this paper, we introduce a new mathematical approach to the problem, relying on very recent results from asymptotic random matrix theory and free probability theory. This is a perfect fit, as the sketching matrices are random in practice. We allow the dimension and sample sizes to have an arbitrary ratio. We study the most popular sketching methods in a unified framework, including random projection methods (Gaussian and iid projections, uniform orthogonal projections, subsampled randomized Hadamard transforms), as well as sampling methods (including uniform, leverage-based, and greedy sampling). We find precise and simple expressions for the accuracy loss of these methods. These go beyond classical Johnson-Lindenstrauss type results, because they are exact, instead of being bounds up to constants. Our theoretical formulas are surprisingly accurate in extensive simulations and on two empirical datasets.

研究の動機と目的

• スケッチに基づく線形回帰における精度損失の正確な理論的理解の欠如に対処すること。
• ランダム射影やサンプリング手法を含む多様なスケッチ手法に適用可能な統一的枠組みを構築すること。
• ジョンソン＝リンデンストラウス型の近似境界を超えて、性能劣化の正確な式を導出すること。
• 大規模回帰におけるスケッチの信頼できる実用的利用を可能にするために、その統計的コストを定量化すること。

提案手法

• 最近の漸近的ランダム行列理論および自由確率論の進展を活用し、スケッチ行列の挙動をモデル化する。
• 次元数と標本サイズの任意の比におけるスケッチ回帰推定量の極限スペクトル分布を分析する。
• スケッチ推定量の平均二乗誤差が完全データの最小二乗解に対して正確に表現される式を導出する。
• ガウス分布、i.i.d.、一様直交、部分サンプルされたハダマード、およびサンプリングに基づく手法（一様、レバレッジベース、グリーディ）を含む複数のスケッチ手法にこの枠組みを適用する。
• ランダム行列理論の決定的同等物を用いて、スケッチ推定量のリスクを高い精度で近似する。
• 広範なシミュレーションおよび実データセットを用いた実証的評価を通じて、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 スケッチを用いる線形回帰における正確な統計的コストは何か。漸近的境界を超えて。
• RQ2 任意の次元対標本サイズ比において、異なるスケッチ手法における精度損失はどのように変化するか。
• RQ3 統一的理論枠組みは、回帰における多様なスケッチ技術の性能を正確に予測できるか。
• RQ4 理論的予測は、実世界のデータセットにおける実証的性能とどの程度一致するか。
• RQ5 レバレッジベースおよびグリーディサンプリングは、ランダム射影と比較して精度損失の面でどの程度優れるか。

主な発見

• 提案された理論は、スケッチに基づく線形回帰における精度損失の正確な閉形式式を提供し、古典的境界を上回る。
• 理論的公式は、さまざまなスケッチ手法およびデータ環境において、シミュレーション結果と非常に良好に一致する。
• 同じ条件下で、レバレッジベースおよびグリーディサンプリング手法は、一様またはランダム射影手法と比較して顕著に低い精度損失を示す。
• この枠組みは、2つの実データセットにおける性能を正確に予測でき、実用的関連性を裏付けている。
• この手法は、スケッチの漸近的挙動が、スケッチ行列のスペクトル特性に強く依存しており、それが自由確率論的手法によって捉えられていることを明らかにした。
• 結果として、理論的損失が正確に定量化可能で、しばしば小さいことから、大規模回帰においてスケッチを高い信頼性で使用できることを示している。