[論文レビュー] Sparse Online Learning via Truncated Gradient

John Langford, Lihong Li+1 more|ArXiv.org|Jun 28, 2008

Sparse and Compressive Sensing Techniques参考文献 16被引用数 185

ひとこと要約

この論文は、連続的で制御可能な重み減衰を用いてモデル重みにスパarsityを誘導する、新しいオンライン学習手法である截断勾配（truncated gradient）を紹介する。理論的保証として、標準的なオンライン学習と比較して最小のレグレットを達成することを示し、大規模なスパースデータセットにおいて、特徴量を最大で2桁減少させる実騴的成果を上げ、L1正則化や丸めに基づく手法よりもスパarsity効率とロバスト性に優れている。

ABSTRACT

We propose a general method called truncated gradient to induce sparsity in the weights of online learning algorithms with convex loss functions. This method has several essential properties: The degree of sparsity is continuous -- a parameter controls the rate of sparsification from no sparsification to total sparsification. The approach is theoretically motivated, and an instance of it can be regarded as an online counterpart of the popular $L_1$-regularization method in the batch setting. We prove that small rates of sparsification result in only small additional regret with respect to typical online learning guarantees. The approach works well empirically. We apply the approach to several datasets and find that for datasets with large numbers of features, substantial sparsity is discoverable.

研究の動機と目的

• 高次元スパース特徴を持つ大規模オンライン学習におけるメモリと計算の非効率性の課題に対処すること。
• 予測性能を損なわず、オンライン学習モデルにスパarsityを誘導する手法を開発すること。
• 単純な丸めやバッチL1正則化の欠陥を避ける、理論的根拠に基づいた連続的スパース化メカニズムを提供すること。
• 非ゼロ特徴量のみを保持し、非ゼロ特徴量に対して線形に動作させることで、計算およびメモリ効率を確保すること。
• 特に不要な特徴量が多数存在するデータセットにおいて、一般化性能を維持したまま強いスパarsityを達成することを実証すること。

提案手法

• 重みをゼロに向かって制御されたレートで減衰させる連続的かつパrameter化されたスパース化技術として、截断勾配を提案する。
• スパース化のレートを制御する重力パramータ g を用い、g=0 はスパース化なし、g→∞ は最大スパース化を意味する。
• 確率的勾配降下法による重み更新の後、切断処理を適用する：w_i = sign(w_i) * max(0, |w_i| - g) によりスパarsityを強制する。
• 非ゼロ特徴量のみを更新し、動的にアクティブ特徴量リストを管理することで、計算効率を確保する。
• 理論的分析により、スパース化に伴いレグレットがわずかに増加するが、g の関数によって有界であることが示される。
• 全特徴量数に依存せず、各更新で非ゼロ特徴量のみを処理することで、スパース例に対して効率的に実装できる。

実験結果

リサーチクエスチョン

• RQ1 強い一般化性能を維持したままモデル複雑度を低減できる、連続的かつオンラインなスパース化手法を設計できるか？
• RQ2 重力パramータ g を増加させることによるスパース化が進むに従い、截断勾配手法のレグレットはどのように変化するか？
• RQ3 スパースさと精度の観点から、L1正則化バッチ学習（例：Lasso）や直感的な丸め手法と比較して、截断勾配の性能はいかがなっているか？
• RQ4 非ゼロ特徴量の数が増加しても、この手法は過学習に対してロバスト性を保つのか？
• RQ5 10^9 個の特徴量と 10^7 個の例を持つデータセットに対しても、この手法は効率的にスケーリングできるか？

主な発見

• 多くの不要な特徴量を含む大規模データセットにおいて、截断勾配は非ゼロ特徴量の数を最大で2桁減少させた。
• スパースさが高い状況で、UCI分類タスクにおいてLassoと同等またはそれを上回る性能を示し、過学習に対してよりロバストである。
• θ = ∞ の場合、截断勾配は局所最適解を避けており、特に高次元設定において係数丸めよりも優れた性能を発揮する。
• 理論的レグレットバウンドはスパース化に伴いわずかに増加するが、一般化性能の著しい劣化を伴わないことを確認した。
• Big_Ads や rcv1 のようなデータセットでは、スケールの大きさから、截断勾配や類似するオンライン手法のみが計算的に実行可能である。
• 実験結果から、スパースさが高い状況では截断勾配の挙動がLassoと密接に一致することが示され、漸近的極限における理論的同等性が妥当であることが裏付けられた。