[論文レビュー] Efficient Elastic Net Regularization for Sparse Linear Models

Zachary C. Lipton, Charles Elkan|arXiv (Cornell University)|May 24, 2015

Sparse and Compressive Sensing Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、スパース線形モデルにおける効率的なエラスティックネット正則化のための動的計画法に基づく手法を提案する。ℓ²₂およびエラスティックネット正則化に対する定数時間の閉形式更新を可能にし、スパarsityを活用して非ゼロ特徴量の遅延更新を実現することで、標準的な密行列更新と比較して大規模なバイオメディカルテキストデータセットで2000倍以上の高速化を達成した。

ABSTRACT

This paper presents an algorithm for efficient training of sparse linear models with elastic net regularization. Extending previous work on delayed updates, the new algorithm applies stochastic gradient updates to non-zero features only, bringing weights current as needed with closed-form updates. Closed-form delayed updates for the $\ell_1$, $\ell_{\infty}$, and rarely used $\ell_2$ regularizers have been described previously. This paper provides closed-form updates for the popular squared norm $\ell^2_2$ and elastic net regularizers. We provide dynamic programming algorithms that perform each delayed update in constant time. The new $\ell^2_2$ and elastic net methods handle both fixed and varying learning rates, and both standard {stochastic gradient descent} (SGD) and {forward backward splitting (FoBoS)}. Experimental results show that on a bag-of-words dataset with $260,941$ features, but only $88$ nonzero features on average per training example, the dynamic programming method trains a logistic regression classifier with elastic net regularization over $2000$ times faster than otherwise.

研究の動機と目的

• 非ゼロ特徴量の数に比例してスケーリングするが、全次元数に依存しない、スパース線形モデルのエラスティックネット正則化を用いた学習のための効率的アルゴリズムを開発すること。
• ℓ₁およびℓ∞ノルムに対する従来の閉形式遅延更新の研究を、広く用いられるℓ²₂およびエラスティックネット正則化器に拡張すること。
• 確率的勾配降下法および前向き後ろ向き分割（FoBoS）において、固定および減少する学習率を両方サポートしながら、定数時間の更新計算量を維持すること。
• 勾配計算と正則化更新の両方でスパarsityを活用することで、実世界のデータセットにおいて顕著な性能向上が達成されることを示すこと。

提案手法

• 本手法は、変動する学習率下でもℓ²₂およびエラスティックネット正則化器に対して閉形式で定数時間の更新を計算するための動的計画法を用いる。
• 時間ステップにわたる積や和を繰り返し計算しないため、累積項（例：Φ(t)およびβ(t)）の進行的状態を維持する。
• 各スパース例における非ゼロ特徴量のみを更新し、必要に応じて事前計算された式を用いて重みを最新の状態に更新する。
• 標準的なSGDおよびFoBoSの両方をサポートし、遅延更新はアクティブな特徴量にのみ適用される。
• 動的計画法の状態は各時間ステップで段階的に更新され、1回の更新あたりO(1)の計算量を保証する。
• メモリ効率の良いバージョンは、定期的にすべての重みを最新状態に更新することで、コストを更新に均等に分散させ、過剰なメモリ使用を回避する。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化において学習率が変化する状況下でも、ℓ²₂およびエラスティックネット正則化器に対して閉形式で定数時間の更新が導けるか。
• RQ2 データのスパarsityとスパarsityに配慮した正則化更新を組み合わせることで、どの程度の性能向上が達成できるか。
• RQ3 提示された動的計画法アプローチは、著しく短縮された学習時間を実現しながらも、数値的安定性と正しさを維持できるか。
• RQ4 ボック・オブ・ワーズ（bag-of-words）テキスト表現のような高次元かつスパースなデータセットにおいて、実際のスケーリングはどの程度達成できるか。

主な発見

• 100万件のドキュメントと260,941の特徴量を持つボック・オブ・ワーズデータセットにおいて、提案手法は標準的な密行列更新と比較して、エラスティックネット正則化を施したロジスティック回帰分類器の学習を2000倍以上高速化した。
• 予測時にも両手法がスパarsityを活用していたにもかかわらず、ラージ更新手法は非ラージベースラインと比較して依然として1400倍速かった。
• 動的計画法により、1特徴量あたり定数時間の更新が達成され、空間計算量はO(T)であるが、定期的な重み同期のおかげで時間コストは均等に分散され、無視できるほど小さくなった。
• 合成データセットにおいて、本手法は標準的なFoBoSと同一のモデル重みを正確に再現した。正しさが確認された。
• SGDおよびFoBoSの両最適化スキームにおいても、スループットの向上が安定して得られ、広範な適用可能性が示された。
• 動的計画法計算のオーバーヘッドは、スパarsityの利点を相殺するものではなく、本手法が効率的かつ実用的であることを裏付けた。