[論文レビュー] Robust sketching for multiple square-root LASSO problems

Vu Pham, Laurent El Ghaoui+1 more|arXiv (Cornell University)|Oct 30, 2014

Smart Parking Systems Research参考文献 21被引用数 4

ひとこと要約

本稿では、データ行列の低ランク近似を活用することで、複数の平方根LASSO問題を効率的に解くためのロバストなスケッチフレームワークを提案する。元の観測数 $ m $ を保持する特異値の数 $ k $ に低減させることで、計算を最大10倍高速化しつつ、統計的性能を維持または向上させることができる。この有効性は、Gisette や RCV1、テキストコーパスを含む合成および実世界のデータセット上で検証された。

ABSTRACT

Many learning tasks, such as cross-validation, parameter search, or leave-one-out analysis, involve multiple instances of similar problems, each instance sharing a large part of learning data with the others. We introduce a robust framework for solving multiple square-root LASSO problems, based on a sketch of the learning data that uses low-rank approximations. Our approach allows a dramatic reduction in computational effort, in effect reducing the number of observations from $m$ (the number of observations to start with) to $k$ (the number of singular values retained in the low-rank model), while not sacrificing---sometimes even improving---the statistical performance. Theoretical analysis, as well as numerical experiments on both synthetic and real data, illustrate the efficiency of the method in large scale applications.

研究の動機と目的

• クロスバリデーションやパrameterチューニングなどの文脈で複数の平方根LASSO問題を解く際の計算ボトルネックを軽減すること。
• 大規模なデータ行列の低ランク構造を活用して、統計的精度を損なうことなく計算コストを大幅に削減すること。
• さまざまなスケッチ手法や凸最適化ソルバに適用可能な汎用的でロバストかつアルゴリズムに依存しないフレームワークを構築すること。
• 大規模なテキストコーパスにおけるトピックイメージングや1特徴変数を除いた分析（leave-one-feature-out）などのタスクに対して、スケーラブルかつ効率的な計算を可能にすること。

提案手法

• 本手法は、ランダムプロジェクションやNystroem法などの標準的手法を用いて計算される元のデータ行列 $ X $ の低ランクスケッチ $ \hat{X} $ を用いる。
• 近似誤差を考慮するため、すべての可能な摂動 $ \Delta $ をノルム束縛 $ \epsilon $ の範囲で最適化することにより、安定性を確保するロバストな平方根LASSO問題を定式化する。
• ロバスト最適化問題は $ \min_w \max_{\|\Delta\|\leq\epsilon} \| (\hat{X} + \Delta)^T w - y \|_2 + \lambda \|w\|_1 $ として定義され、双対性を用いて解ける凸問題に再定式化される。
• 最悪ケース誤差項 $ \epsilon \|w\|_2 $ が最適化に組み込まれることで、標準的なソルバを用いて効率的に解けるようになる。
• スケッチは一度計算して再利用され、複数の問題インスタンス（正則化パスやクエリ特徴）に対して並列かつ高速処理を可能にする。
• 本手法は任意の低ランク近似アルゴリズムと互換性があり、非常に大規模な問題に対しては一次元法と組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 低ランクスケッチを用いることで、複数の平方根LASSO問題の計算コストを著しく削減できるか、かつ統計的性能は維持されるか？
• RQ2 ロバストな定式化は、データスケッチによって生じる近似誤差をどのように扱い、どのような保証を提供するか？
• RQ3 高次元学習タスクにおけるクロスバリデーションやリーブ・ワン・フィーチャー・アウト分析において、このフレームワークはどの程度の速度向上を実現できるか？
• RQ4 異なるスケッチアルゴリズムやデータタイプに一般に適用可能であり、性能の低下なしに使用できるか？
• RQ5 実際の運用において、RCV1 や NIPS ペーパーを含む大規模なテキストおよびスパースデータセットに対して、この手法はどの程度スケーラブルか？

主な発見

• RCV1データセットにおける5分割交差検証の訓練時間は、フルモデルの17,776秒から本手法では70.8秒に短縮され、251倍の高速化が達成された。
• Gisetteデータセットでは、フルモデルが22,082秒を要したが、本手法では39秒で完了し、566倍の高速化が達成された。
• NIPSコーパスにおけるトピックイメージングでは、1クエリあたり3.5秒未塔でクエリ応答が生成され、リアルタイム実行の可能性が示された。
• RCV1およびGisetteにおける分類性能はフルモデルと同等であり、F1スコアも顕著な計算削減にもかかわらず維持された。
• Real-simデータセットでは最大1,310倍の高速化が達成され、多様なデータタイプにわたるスケーラビリティが確認された。
• 数値実験の結果、ロバストな定式化は計算を高速化するだけでなく、構造的近似に起因する過学習を緩和することで、統計的性能を向上させる場合もあることが示された。