[論文レビュー] Fast Support Vector Machines Using Parallel Adaptive Shrinking on Distributed Systems

Jeyanthi Narasimhan, Abhinav Vishnu+2 more|arXiv (Cornell University)|Jun 19, 2014

Neural Networks and Applications参考文献 21被引用数 5

ひとこと要約

本論文は、非寄与サンプルを動的に削除することで収束を加速する、適応的スリーピングを用いた並列分散SVM学習アルゴリズムを提案する。スパースデータ表現、MPI/GAベースの並列処理、および早期サンプル削除のヒューリスティクスを組み合わせることで、シーケンシャルなlibsvmに対して最大26倍の高速化を達成し、大規模データセットにおいて並列ベースライン比30–60％の性能向上を実現した。

ABSTRACT

Support Vector Machines (SVM), a popular machine learning technique, has been applied to a wide range of domains such as science, finance, and social networks for supervised learning. Whether it is identifying high-risk patients by health-care professionals, or potential high-school students to enroll in college by school districts, SVMs can play a major role for social good. This paper undertakes the challenge of designing a scalable parallel SVM training algorithm for large scale systems, which includes commodity multi-core machines, tightly connected supercomputers and cloud computing systems. Intuitive techniques for improving the time-space complexity including adaptive elimination of samples for faster convergence and sparse format representation are proposed. Under sample elimination, several heuristics for {\em earliest possible} to {\em lazy} elimination of non-contributing samples are proposed. In several cases, where an early sample elimination might result in a false positive, low overhead mechanisms for reconstruction of key data structures are proposed. The algorithm and heuristics are implemented and evaluated on various publicly available datasets. Empirical evaluation shows up to 26x speed improvement on some datasets against the sequential baseline, when evaluated on multiple compute nodes, and an improvement in execution time up to 30-60\% is readily observed on a number of other datasets against our parallel baseline.

研究の動機と目的

• 大規模システム、特にマルチコア、スーパーコンピュータ、クラウド環境における、既存の並列SVMアルゴリズムのスケーラビリティ制限を解決すること。
• 学習全体を通して全データセットを用いる非効率性を、適応的スリーピングにより非寄与サンプルを早期に削除することで克服すること。
• スパースデータ表現とカーネルキャッシュの削除を通じて、空間的・時間的計算量を低減すること。
• MPIおよびグローバルアレイを用いた、通信効率の高いスケーラブルな実装を設計し、高性能な分散実行を実現すること。
• 多様な実世界データセットを用いて提案アルゴリズムの性能を評価し、シーケンシャルおよび並列ベースライン比で顕著な性能向上を示すこと。

提案手法

• 学習イテレーション中に非サポートベクタを動的に削除するための、積極的、平均的、消極的の3種類の適応的スリーピングヒューリスティクスを採用する。
• スパースデータ構造を用いてサンプルを表現し、大規模データセットにおけるメモリフットプリントを最小限に抑え、キャッシュ効率を向上させる。
• MPIおよびグローバルアレイを用いて、効率的なノード間通信と分散データ管理を実装する。
• 早期削除のリスクとしての誤検出を回避するため、重要なデータ構造を軽量に再構築するメカニズムを導入する。
• 作業セット選択を伴う双対座標降下フレームワークを適用し、スリーピングの理論的基盤を活用して収束速度を向上させる。
• カーネルキャッシュの保存を回避することで、現代のアーキテクチャに最適化し、GPUや将来のアクセラレータを含む異種アーキテクチャでも利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 分散環境下での適応的スリーピングは、解の品質を損なわず、SVM学習時間を顕著に短縮できるか？
• RQ2 積極的、平均的、消極的の異なるスリーピングヒューリスティクスは、多様なデータセットにおいて収束速度とスケーラビリティにどのように影響を与えるか？
• RQ3 スパースデータ表現とカーネルキャッシュの削除は、大規模かつメモリ制限のあるシステムにおいて、どれほど性能向上をもたらすか？
• RQ4 提案された並列アルゴリズムは、マルチコアシステム、密結合型スーパーコンピュータ、クラウドベースのクラスタにおいて、既存のベースラインと比較してどれほどスケーリングするか？
• RQ5 MPI/GAの分散コンputィングモデルと動的サンプル削除の組み合わせは、実世界のデータセットにおいて優れた性能を達成できるか？

主な発見

• 複数の計算ノードで学習した場合、提案アルゴリズムはシーケンシャルなlibsvmベースラインに対して最大26倍の高速化を達成した。
• いくつかのデータセットでは、スリーピングなしの並列ベースラインと比較して、実行時間を30–60％改善した。
• USPSおよびMushroomsデータセットでは、シーケンシャルベースライン比5倍～8倍の高速化を示し、中規模データにおける強力なスケーラビリティを実証した。
• スパースデータ表現の使用とカーネルキャッシュの削除は、大規模データセットにおけるメモリ圧力を顕著に低減し、性能向上をもたらした。
• 特に消極的および平均的バージョンの適応的スリーピングヒューリスティクスは、多様なデータ分布にわたり解の正確性を維持しながら収束速度を加速した。
• MPIおよびグローバルアレイを用いた実装は、マルチコアシステムおよび大規模スーパーコンピュータの両方で効果的にスケーリングされ、異種アーキテクチャにおける移植性と性能を裏付けた。