[論文レビュー] Massive-scale Online Feature Selection for Sparse Ultra-high Dimensional Data.

Yue Wu, Steven C. H. Hoi+1 more|arXiv (Cornell University)|Sep 27, 2014

Face and Expression Recognition参考文献 24被引用数 10

ひとこと要約

本稿では、最適化された計算を活用して、超高次元でスパースなデータにおいて高い精度と極めて高い効率を達成する2次オンライン特徴選択手法を提案する。1台のマシンで10億スケールの特徴データセットを数分で処理でき、スピード面でバッチ法およびオンライン法を上回りながら、最先端の精度を達成する。

ABSTRACT

Abstract—Feature Selection is an important technique in machine learning and pattern classification, especially for handling high-dimensional data. Most existing studies have been restricted to batch learning, which is often inefficient and poorly scalable when handling big data in real world, especially when data arrives sequentially. Recent years have witnessed some emerging feature selection techniques using online learning. Despite enjoying significant advantages in efficiency and scalability, the existing online feature selection methods are not always accurate enough, and still not sufficiently fast when handling massive-scale data with ultra-high dimensionality. To address the limitations, we propose a novel online feature selection method by exploiting second-order information with optimized implementations, which not only improves the learning efficacy, but also significantly enhances computational efficiency. We conduct extensive experiments for evaluating both learning accuracy and time cost of different algorithms on massive-scale synthetic and real-world datasets, including a dataset with billion-scale features. Our results show that our technique achieves highly competitive accuracy as compared with state-of-the-art batch feature selection methods, but consumes significantly low computational cost that is orders of magnitude lower than both state-of-the-art batch and online feature selection methods. On a billion-scale synthetic dataset (1-billion dimensions, 1-billion nonzero features, and 1-million samples), our algorithm took only eight minutes with a normal single machine. Index Terms—Feature selection, online learning, sparsity, second-order online learning, ultra-high dimensionality F 1

研究の動機と目的

• 巨視的規模の超高次元データにおける、従来のバッチ法およびオンライン法の非効率性とスケーラビリティの制限を解決すること。
• スパースで高次元のデータセットにおけるオンライン特徴選択の学習精度と計算効率を向上させること。
• 最大10億次元の特徴空間を持つデータに対して、リアルタイムでスケーラブルな特徴選択を可能にすること。
• スパースなデータ構造に最適化された2次オンライン学習技術を最適化し、精度を損なわずに計算コストを低減すること。

提案手法

• 本手法は、損失関数の曲率情報を捉えるために2次オンライン学習を採用し、1次手法に比べて収束性と精度が向上する。
• スパースなデータ構造に特化した最適化された実装を統合し、メモリアクセスと計算オーヘッドを低減する。
• 特徴を逐次処理し、ヘシアンに基づく近似を用いて特徴重みを段階的に更新することで、学習の安定性を向上させる。
• 特徴重みと勾配のコンactかつスパースな表現を維持することで、ストレージと計算量を最小限に抑える。
• データストリームにおけるインクリメンタル学習をサポートし、現実世界の動的データ環境に適したものである。
• 本手法は、超高次元問題においても1台のマシンで効率的にスケーリング可能であり、分散システムを回避する。

実験結果

リサーチクエスチョン

• RQ1 2次オンライン学習は、1次オンライン手法に比べて、超高次元でスパースなデータにおける特徴選択の精度を向上させることができるか？
• RQ2 最大10億の特徴を持つデータセットを処理する際、本手法の実行時間とメモリ使用量はどのようにスケーリングするか？
• RQ3 最適化された2次オンライン学習は、バッチ法と同等の精度を維持しながら、計算コストをどの程度低減できるか？
• RQ4 本手法は、極度のスパarsityと次元性を持つ実世界および合成データセットで、どの程度の性能を示すか？

主な発見

• 10億次元（100万サンプル、10億非ゼロ特徴）、10億スケールの合成データセットにおいて、本アルゴリズムは1台のマシンでわずか8分で特徴選択を完了した。
• 本手法は、オンライン処理であるにもかかわらず、最先端のバッチ特徴選択手法と同等の学習精度を達成した。
• 計算コストは、最先端のバッチ法およびオンライン法の両方と比べて桁違いに低かった。
• 本手法は、スパースで超高次元のデータにおいて、強力なスケーラビリティと効率性を示し、時間効率の面で既存の手法を上回った。
• 最適化された実装により、メモリアクセスと計算時間が顕著に削減され、大規模データのリアルタイム処理が可能になった。