[論文レビュー] A Framework of Sparse Online Learning and Its Applications

D. Wang, Pengcheng Wu+2 more|arXiv (Cornell University)|Jul 25, 2015

Data Stream Mining Techniques参考文献 17被引用数 9

ひとこと要約

本稿では、高次元でスパースかつクラス不均衡なデータストリーム分類のための、一次および二次のオンライン学習を統合するスパースオンライン分類（SOC）フレームワークを提案する。スパース性と二次最適化を活用することで、最先端の性能を達成しつつ、効率的かつスケーラブルな学習が可能になる。実世界のタスク、例えばスパム検出や異常検出において優れた性能を示す。

ABSTRACT

The amount of data in our society has been exploding in the era of big data today. In this paper, we address several open challenges of big data stream classification, including high volume, high velocity, high dimensionality, high sparsity, and high class-imbalance. Many existing studies in data mining literature solve data stream classification tasks in a batch learning setting, which suffers from poor efficiency and scalability when dealing with big data. To overcome the limitations, this paper investigates an online learning framework for big data stream classification tasks. Unlike some existing online data stream classification techniques that are often based on first-order online learning, we propose a framework of Sparse Online Classification (SOC) for data stream classification, which includes some state-of-the-art first-order sparse online learning algorithms as special cases and allows us to derive a new effective second-order online learning algorithm for data stream classification. In addition, we also propose a new cost-sensitive sparse online learning algorithm by extending the framework with application to tackle online anomaly detection tasks where class distribution of data could be very imbalanced. We also analyze the theoretical bounds of the proposed method, and finally conduct an extensive set of experiments, in which encouraging results validate the efficacy of the proposed algorithms in comparison to a family of state-of-the-art techniques on a variety of data stream classification tasks.

研究の動機と目的

• 実世界の応用において、大量かつ高速で、高次元でスパースかつクラス不均衡なデータストリームの課題に対処すること。
• 大規模なデータストリーム分類において、バッチ学習の非効率性とスケーラビリティの制限を克服すること。
• 一次のスパースオンライン学習を一般化し、新たな二次のアルゴリズムの導出を可能にする統一フレームワークの開発。
• オンライン異常検出における深刻なクラス不均衡を効果的に処理するため、コストセンシティブ学習へのフレームワークの拡張。
• 理論的レグレットとミスの境界を提示し、大規模でスパースかつ不均衡なベンチマークデータセット上で性能を検証すること。

提案手法

• 既存の一次のスパースオンライン学習アルゴリズムを特別なケースとして包含する一般化されたスパースオンライン分類（SOC）フレームワークを提案する。
• 曲率情報（ヘッセ行列の近似）を活用することで、SOCフレームワーク内に新たな二次のオンライン学習アルゴリズムを導入し、収束性と精度の向上を実現する。
• マイノリティクラスの誤分類に対してより高いペナルティを課すコストセンシティブ損失関数を組み込むことで、フレームワークをコストセンシティブ学習に拡張する。
• CS-FSOL（コストセンシティブ一次）および CS-SSOL（コストセンシティブ二次）の2つの新しいアルゴリズムを導出する。これらは不均衡なデータストリームに特化している。
• フレームワークはストリーミングデータに対してインクリメンタルな更新を実行し、L1正則化と効率的な射影機構を用いてモデル重みのスパース性を維持する。
• 理論的分析により、提案されたアルゴリズムの一般化されたレグレットとミスの境界を提供し、収束性と一般化の保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 統一されたオンライン学習フレームワークは、高次元データストリームにおける一次および二次のスパース学習を効果的に統合できるか？
• RQ2 提案された二次のスパースオンライン学習アルゴリズムは、大規模なデータに対して一次のアルゴリズムと比較して、精度と効率の面で優れているか？
• RQ3 SOCフレームワーク内でのコストセンシティブ学習は、スパム検出やURL異常検出のような極度に不均衡なデータストリームにおいて、性能をどの程度向上させるか？
• RQ4 特徴量のスパarsityと高次元性は、実世界のデータストリーム応用におけるオンライン学習アルゴリズムの性能にどのような影響を与えるか？
• RQ5 提案されたアルゴリズムの理論的レグレットとミスの境界は、実世界のベンチマークで確立され、実証的に検証可能か？

主な発見

• 提案されたCS-SSOLアルゴリズムは、不均衡なURL検出タスクで最高のバランス精度を達成し、CS-OGD、CPA、PAUM、およびコストに依存しないベースラインを上回った。
• 高次元で極めてスパースなウェブスパムデータセット（1600万の特徴量、96.19％のスパース性）において、CS-SSOLは優れた性能を維持したが、非スパースなコストセンシティブなアルゴリズム（PAUMやCAP）は著しく性能を低下させた。
• 二次のオンライン学習アルゴリズム（SSOL、CS-SSOL）は、すべてのデータセットで一次のアルゴリズム（OGD、CS-FSOL）を一貫して上回り、曲率情報の利点を示した。
• コストセンシティブなバージョン（CS-FSOL、CS-SSOL）は、コストに依存しない対応するアルゴリズムよりも顕著に性能を向上させ、クラス不均衡の処理におけるコストセンシティブ損失関数の有効性を裏付けた。
• SOCフレームワークは、既存の一次のスパースオンライン学習を適切に一般化し、強力な実験的結果を示す新しい効果的な二次アルゴリズムの導出を可能にした。
• 大規模でスパースかつ不均衡なデータセットにおける実証的評価により、提案されたアルゴリズムが、多様なオンライン学習手法と比較して最先端の性能を達成することが確認された。