[論文レビュー] The Statistics of Streaming Sparse Regression

Jacob Steinhardt, Stefan Wager+1 more|arXiv (Cornell University)|Dec 13, 2014

Sparse and Compressive Sensing Techniques参考文献 58被引用数 6

ひとこと要約

本稿では、$k$-スパースな最適パラメータを伴うストリーミング線形回帰において、バッチlassoと同等の統計的収束速度 $\omega_P(k\log d/T)$ を達成する計算的に効率的なアルゴリズム、ストリーミングスパース回帰（SSR）を提案する。確率的勾配降下法と適応的 $L_1$ 正則化、ソフトスレッショーニングを組み合わせることで、SSRは1ステップあたり $O(d)$ の時間および記憶領域を維持しながら、非表現性条件のもとで真のサポートを高確率で回復する。

ABSTRACT

We present a sparse analogue to stochastic gradient descent that is guaranteed to perform well under similar conditions to the lasso. In the linear regression setup with irrepresentable noise features, our algorithm recovers the support set of the optimal parameter vector with high probability, and achieves a statistically quasi-optimal rate of convergence of Op(k log(d)/T), where k is the sparsity of the solution, d is the number of features, and T is the number of training examples. Meanwhile, our algorithm does not require any more computational resources than stochastic gradient descent. In our experiments, we find that our method substantially out-performs existing streaming algorithms on both real and simulated data.

研究の動機と目的

• バッチlassoの統計的性能を最小限の仮定のもとで再現するストリーミング用スパース線形回帰アルゴリズムの設計。
• 1ステップあたり $O(d)$ の記憶領域および時間で、ストリーミング設定下で最適なパラメータ誤差率 $\mathcal{O}_P(k\log d/T)$ を達成すること。
• オンライン更新と適応的正則化のみを用いて、真のスパースパラメーターベクトル $w^*$ のサポート回復を高確率で保証すること。
• 強い平均ゼロ勾配仮定を緩和し、非表現性が収束およびスパース性のための十分条件であることを示すこと。
• オンライン凸最適化と統計的保証を統合し、スパarsityのもとで最小最大最適レートを達成できることが示されること。

提案手法

• アルゴリズムは、確率的勾配更新、重みの平均化、およびスパース性を強制するためのソフトスレッショーニングを交互に実行する。
• 収束とスパース性のバランスを取るために、時間に依存する $L_1$ 正則化スケジュール $\lambda_t \propto \sqrt{t}$ を使用する。
• 非表現性ノイズ特徴の下でのアクティブセットの進化を制御するため、マルティングルの尾確率を用いてサポート回復を保証する。
• 最終推定器 $\hat{w}_T = \frac{2}{T(T+1)}\sum_{t=1}^T t w_t$ は重み付き平均であり、一般化性能の向上に寄与する。
• 理論的分析では、強い凸性および集中不等式を用いて予測誤差およびパラメータ誤差をバインドする。
• 従来の平均ゼロ勾配仮定に代わる、新しい非表現性条件を導入し、より広範な適用可能性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ストリーミング設定下で、高次元スパース線形回帰において、バッチlassoと同等の統計的収束速度を達成できるストリーミングアルゴリズムは存在するか？
• RQ2 1ステップあたり $O(d)$ の時間および記憶領域を有する $L_1$ 正則化を伴うオンライン学習は、真のスパースパラメーターベクトルのサポート回復を保証できるか？
• RQ3 非表現性条件は、ストリーミング設定下でのサポート回復において、より強い平均ゼロ勾配仮定を置き換えることができるか？
• RQ4 1パス、逐次的更新のみで、$\mathcal{O}_P(k\log d/T)$ のパラメータ誤差を達成することは可能か？
• RQ5 オンライン凸最適化技術を統計的分析と組み合わせることで、ストリーミングスパース回帰において最小最大最適レートを達成できるか？

主な発見

• アルゴリズムはパラメータ誤差率 $\mathcal{O}_P\left(\frac{kB^2\log(d\log T)}{\alpha^2 T}\right)$ を達成し、非表現性のもとでlassoの最小最大最適レートと一致する。
• 高確率で、推定重みベクトル $\hat{w}_T$ のサポートは真のサポート $S$ の中に含まれるため、正しい変数選択が保証される。
• 予測誤差 $\mathcal{L}(\hat{w}_T) - \mathcal{L}(w^*)$ は最適レート $\mathcal{O}_P\left(\frac{kB^2\log(d\log T)}{\alpha T}\right)$ で減少する。
• アルゴリズムは1データポイントあたり $O(d)$ の時間および記憶領域複雑度を維持し、確率的勾配降下法と同等の効率性を備えつつ、lassoレベルの統計的性能を達成する。
• 理論的分析により、期待値における強い凸性のみを仮定しても、$\mathcal{O}(\log T)$ のレグレットに達することが示され、$\mathcal{O}(\sqrt{T})$ ではない。
• 非表現性条件は、サポート回復および最適収束のための十分条件であり、ノイズ特徴の平均ゼロ勾配を仮定する必要を緩和する。