[論文レビュー] Sketched Ridge Regression: Optimization Perspective, Statistical Perspective, and Model Averaging

Shusen Wang, Alex Gittens+1 more|arXiv (Cornell University)|Feb 16, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用数 51

ひとこと要約

本論文は、古典的スケッチとヘシアンスケッチが行列リッジ回帰の最適化と統計に与える影響を分析し、バイアス—分散のトレードオフを示し、対策としてモデル平均化を提案する。

ABSTRACT

We address the statistical and optimization impacts of the classical sketch and Hessian sketch used to approximately solve the Matrix Ridge Regression (MRR) problem. Prior research has quantified the effects of classical sketch on the strictly simpler least squares regression (LSR) problem. We establish that classical sketch has a similar effect upon the optimization properties of MRR as it does on those of LSR: namely, it recovers nearly optimal solutions. By contrast, Hessian sketch does not have this guarantee, instead, the approximation error is governed by a subtle interplay between the "mass" in the responses and the optimal objective value. For both types of approximation, the regularization in the sketched MRR problem results in significantly different statistical properties from those of the sketched LSR problem. In particular, there is a bias-variance trade-off in sketched MRR that is not present in sketched LSR. We provide upper and lower bounds on the bias and variance of sketched MRR, these bounds show that classical sketch significantly increases the variance, while Hessian sketch significantly increases the bias. Empirically, sketched MRR solutions can have risks that are higher by an order-of-magnitude than those of the optimal MRR solutions. We establish theoretically and empirically that model averaging greatly decreases the gap between the risks of the true and sketched solutions to the MRR problem. Thus, in parallel or distributed settings, sketching combined with model averaging is a powerful technique that quickly obtains near-optimal solutions to the MRR problem while greatly mitigating the increased statistical risk incurred by sketching.

研究の動機と目的

• スケッチングが行列リッジ回帰 (MRR) の最適解と比較した最適化品質にどう影響するかを調査する。
• さまざまなスケッチ方式の下でのスケッチされたMRR解の統計的バイアスと分散を特徴づける。
• 最適化と統計の両方の設定で、スケッチによるリスク増大を緩和するモデル平均化の役割を検討する。
• n >> d の場合のMRRに関して、古典的スケッチとヘシアンスケッチの保証と実用的な性能を比較する。

提案手法

• MRR問題とその2つのスケッチ変種を定義する: 古典的スケッチ W^c およびヘシアンスケッチ W^h。
• Gaussian、SRHT、レバレッジベース、均一、CountSketch などの複数のスケッチ scheme に対して、古典的およびヘシアンスケッチの下で f(W) − f(W*) の理論的境界を導出する。
• ノイズ仮定を伴う固定デザインモデル Y = XW0 + Xi の下で W*, W^c, W^h のバイアス-分散分解を構築する。
• g 個のスケッチされたMRR問題の解を平均化して、最適化誤差と統計誤差の両方を低減するモデル平均化を導入する。
• モデル平均化がほぼ最適なリスクをもたらす条件を提供し、分散処理/ワンショット設定について議論する。

実験結果

リサーチクエスチョン

• RQ1 古典的スケッチは、最適なMRR解と比較した最適化目的関数の値にどのような影響を与えるか。
• RQ2 ヘシアンスケッチは、最適なMRR解と比較した最適化目的関数の値にどのような影響を与えるか。
• RQ3 さまざまなスケッチ法の下でスケッチされたMRR解のバイアスと分散への影響は何か。
• RQ4 モデル平均化は、スケッチされたMRR解と真のMRR解のリスクの差を縮小できるか，またどのような条件下でか。
• RQ5 スケッチされたMRRについて、最適化の観点と統計の観点で結果はどのように異なるか。

主な発見

• 古典的スケッチは、s = Õ(d/ε) のとき f(W^c) ≤ (1+ε) f(W*) でほぼ最適な目的値を達成する。
• ヘシアンスケッチはほぼ最適な目的値を保証しないことがあり、||Y||_F^2/n が f(W*) を支配する場合には f(W^h) が f(W*) から大きく離れることがある。
• スケッチされたMRR は、スケッチされたLSR には見られないバイアス-分散のトレードオフを示す。古典的スケッチは分散を Θ(n/s) 増加させ、ヘシアンスケッチはバイアスを増加させる。
• Model averaging over g sketched MRR solutions reduces both objective value gap and variance for classical sketch and reduces bias for Hessian sketch; with sufficient s, averaging can approach near-optimal risk.
• 実証的には、スケッチされたMRRのリスクは最適なMRRより1桁程度高い可能性がある一方で、モデル平均化は中央集権的および分散設定の双方でこのギャップを大幅に縮小する。