[論文レビュー] A Deterministic Streaming Sketch for Ridge Regression

Benwei Shi, Jeff M. Phillips|arXiv (Cornell University)|Feb 5, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、共分散行列のFrequent Directionsに基づくスケッチを用いて、$O(d/\varepsilon)$のメモリで解の係数に対する$\varepsilon$相対誤差を達成する、初めての決定的でストリーミング可能なリッジ回帰のアルゴリズムを提示する。この手法は、空間と誤差のトレードオフおよびクエリ効率において、確率的スケッチ手法を上回り、誤差とリスクの境界に関する強力な理論的保証を維持する。

ABSTRACT

We provide a deterministic space-efficient algorithm for estimating ridge regression. For $n$ data points with $d$ features and a large enough regularization parameter, we provide a solution within $\varepsilon$ L$_2$ error using only $O(d/\varepsilon)$ space. This is the first $o(d^2)$ space deterministic streaming algorithm with guaranteed solution error and risk bound for this classic problem. The algorithm sketches the covariance matrix by variants of Frequent Directions, which implies it can operate in insertion-only streams and a variety of distributed data settings. In comparisons to randomized sketching algorithms on synthetic and real-world datasets, our algorithm has less empirical error using less space and similar time.

研究の動機と目的

• 解の係数に対する証明可能な誤差境界を維持しつつ、$o(d^2)$のメモリで動作する空間効率的で決定的なストリーミングアルゴリズムを設計すること。
• 既存の確率的スケッチ手法の限界、すなわち決定性の欠如、ストリーミング対応の欠如、あるいは低メモリ下での強力な誤差保証の欠如を克服すること。
• 特に大規模な$d$および高精度要件下において、リッジ回帰においてFrequent Directionsに基づくスケッチが、ランダム射影よりも優れた空間-誤差トレードオフを達成できることを示すこと。
• スケッチ行列に依存しない分散を持つ理論的リスク境界を提供し、先行する確率的アプローチを改善すること。
• 実験的に、提案手法が、特に高次元設定下で、競合手法よりも低い経験的誤差とより速いクエリ時間を達成することを検証すること。

提案手法

• アルゴリズムは、$\mathbf{A} \in \mathbb{R}^{n \times d}$ のデータ行列を、$\ell = O(1/\varepsilon)$ として $\mathbf{B} \in \mathbb{R}^{\ell \times d}$ の小さな行列に圧縮するFrequent Directions (FD) スケッチを用い、リッジ回帰に必要な共分散構造を保持する。
• データストリームを1回のパスで走査することで、$\mathbf{A}^\top\mathbf{A}$ と $\mathbf{A}^\top\mathbf{b}$ の決定的スケッチを維持し、効率的なオンライン計算を可能にする。
• 大きな正則化パラメータ $\gamma$ を用いることで、FDが $\varepsilon$ 相対誤差を $O(d/\varepsilon)$ のメモリで保持できることを利用している。
• 解は $\hat{\mathbf{x}}_\gamma = (\mathbf{B}^\top\mathbf{B} + \gamma\mathbf{I})^{-1}\mathbf{B}^\top\mathbf{b}$ として計算され、$\mathbf{A}$ の代わりにスケッチ $\mathbf{B}$ を使用する。
• 理論的分析により、解の係数における誤差が $\varepsilon$ 相対誤差で有界であることが証明され、スケッチの選択に依存しない分散を持つリスク境界が確立される。
• Frequent Directionsの性質により、挿入のみのストリームおよび分散環境に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 $o(d^2)$ のメモリで動作し、証明可能な誤差境界を有する決定的でストリーミング可能なリッジ回帰のアルゴリズムを設計できるか？
• RQ2 特に大規模な$d$および高精度要件下において、Frequent Directions スケッチが、リッジ回帰においてランダム射影よりも優れた空間-誤差トレードオフを提供するか？
• RQ3 リッジ回帰における正則化が、通常最小二乗法と比較して、決定的スケッチに対してより強い理論的保証を可能にするか？
• RQ4 提案手法は、誤差、メモリ使用量、クエリ時間の観点から、確率的スケッチ手法と比較してどのように異なるか？
• RQ5 誤差の理論的境界はタイトであり、さらなる改善が可能か？

主な発見

• 提案手法は $O(d/\varepsilon)$ のメモリ計算量を達成し、これは $o(d^2)$ であり、リッジ回帰の解の係数に対して $\varepsilon$ 相対誤差を保証する。
• 特に低メモリ使用量下で、確率的スケッチ手法（例：ランダム射影、CountSketch）を上回る経験的誤差を達成する。RFDrrバージョンは、ほとんどの設定で最小の係数誤差を達成する。
• FDベースのアルゴリズムではクエリ時間が $d$ に対して線形に増加するが、確率的手法は立方的に増加するため、$d$ が大きい場合にはFDベースの手法が著しく効率的である。
• スケッチ行列に依存しない分散を持つ強力なリスク境界を維持しており、これは先行する確率的アプローチに対する重要な改善である。
• 実験では、FDベースのアルゴリズムが、空間/時間/誤差のトレードオフにおいて一貫して近似的最適な性能を達成し、確率的および他の決定的手法を上回る。
• 理論的分析により、$O(1/\varepsilon)$ のスケッチサイズはおそらく最適であり、これを改善するには $\Omega(1/\varepsilon^2)$ のメモリが必要であり、ランダム射影の下界と一致する。