[論文レビュー] Engineering fast multilevel support vector machines

Ehsan Sadrfaridpour, Talayeh Razzaghi+1 more|arXiv (Cornell University)|Jul 24, 2017

Face and Expression Recognition参考文献 67被引用数 5

ひとこと要約

本稿では、階層的粗化および代数多重グリッド（AMG）にインspiredな技術を活用することで、大規模かつ不均衡なデータセットにおける非線形SVMの学習を高速化する、マルチレベルサポートベクターマシン（SVM）フレームワークを提案する。PETScを用いて効率的な線形代数処理とスケーラビリティを実現し、LibSVMに比べて最大2桁、DC-SVMに比べて1桁の高速化を達成しながら、分類精度を維持または向上させ、特に重度に不均衡なデータに対して優れた性能を示す。

ABSTRACT

The computational complexity of solving nonlinear support vector machine (SVM) is prohibitive on large-scale data. In particular, this issue becomes very sensitive when the data represents additional difficulties such as highly imbalanced class sizes. Typically, nonlinear kernels produce significantly higher classification quality to linear kernels but introduce extra kernel and model parameters which requires computationally expensive fitting. This increases the quality but also reduces the performance dramatically. We introduce a generalized fast multilevel framework for regular and weighted SVM and discuss several versions of its algorithmic components that lead to a good trade-off between quality and time. Our framework is implemented using PETSc which allows an easy integration with scientific computing tasks. The experimental results demonstrate significant speed up compared to the state-of-the-art nonlinear SVM libraries. Reproducibility: our source code, documentation and parameters are available at https:// github.com/esadr/mlsvm.

研究の動機と目的

• 大規模データセット、特に不均衡またはノイズが多い状況下における非線形SVM学習の高い計算コストを低減すること。
• 非線形SVMの伝統的手法に内在する、計算が高価なカーネル関数とパラメータ適合による遅延に起因する性能と品質のトレードオフを克服すること。
• 訓練時間を大幅に短縮しながらも高い分類品質を維持する、スケーラブルで逐次的なマルチレベルフレームワークを構築すること。
• PETScに統合することで、科学計算ワークフローへのシームレスな統合と将来の並列化を可能にすること。
• マルチスケールまたは階層的構造を有する実世界の産業データセットにおいて、その頑健性と効率性を実証すること。

提案手法

• データを階層的に粗化することで、次第に小さくなる複数の訓練セットを生成するため、代数多重グリッド（AMG）およびマルチスケール最適化の原則を適用する。
• クラスタリングと距離に基づく集約を用いた粗化戦略を採用し、各レベルでクラス構造を保持するとともに、データサイズを縮小する。
• 粗いレベルで高速かつ近似のよいパラメータ選択（例：NUDアルゴリズム）を用いて、細かいレベルでの精錬を導く。
• 粗いレベルから細かいレベルへとモデルを伝搬する再帰的アンコarseningプロセスを採用し、適応的フィルタリングとカーネルパラメータチューニングを併用する。
• PETScのスケーラブルなスパース線形代数処理と科学計算ワークロードをサポートする機能を活用するため、フレームワークをPETScに統合する。
• データサイズに応じて訓練を各レベルに分割する動的パーティショニング戦略を採用し、粗化をトリガーする閾値（例：Q_t = 5000）を設定する。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルフレームワークは、大規模データセットにおいて分類精度を損なわず、非線形SVMの学習時間を顕著に短縮できるか？
• RQ2 階層的粗化は、特にクラス不均衡の状況下で、モデルの一般化性能にどのように影響を与えるか？
• RQ3 異なる粗化戦略（例：IIS対AMG）およびフィルタリングパラメータ（θ, r）が、モデル品質と速度に与える影響は何か？
• RQ4 粗いレベルでのモデル選択が、細かいレベルでのパラメータチューニングを的確に導けるか。これにより、全探索の必要性が軽減されるか？
• RQ5 LibSVM や DC-SVM といった最先端のSVMライブラリと比較して、マルチレベルアプローチは速度と精度の両面でどの程度優れているか？

主な発見

• 提案されたマルチレベルSVMフレームワークは、10万件を超えるサンプルを有するデータセットにおいて、LibSVMに比べ最大100倍、DC-SVMに比べ10倍の高速化を達成した。
• MNIST8Mデータセット（100万件のサンプル）では、LibSVMに比べて学習時間を2桁以上短縮したが、高い精度を維持した。
• HIGGS や SUSY といった重度に不均衡なデータセットでは、ベースライン手法と同等または優れたG-meanおよびAUCスコアを達成した。
• 多様なデータセットにわたって安定した性能を示し、MNIST8Mの各クラスにおける精度の標準偏差が0.03未満（例：<0.03）であったことから、頑健性が確認された。
• 粗いレベルでのモデル選択（例：NUDアルゴリズム）と適応的フィルタリング（θ=0.05）、粗化閾値（Q_t=5000）の組み合わせにより、一貫した性能向上が得られた。
• PETScへの実装により、効率的な線形代数演算が可能となり、将来の並列化およびHPCワークフローへの統合の基盤が整った。