[論文レビュー] Algebraic multigrid support vector machines

Ehsan Sadrfaridpour, Sandeep Jeereddy+4 more|arXiv (Cornell University)|Nov 16, 2016

Tensor decomposition and applications参考文献 18被引用数 6

ひとこと要約

本論文は、大規模かつ不均衡なデータセットにおける重み付きサポートベクターマシン（WSVM）の高速化を目的として、AMG（代数的多重グリッド）にインspiredされたマルチレベルフレームワークを提案する。データの階層を粗くし、粗いレベルからサポートベクターとモデルパラメータを継承し、局所的に精錬することで、分類品質を損なわず、特に産業的かつ不均衡なデータセットにおいて顕著な高速化を達成した。訓練時間は最大で数日から数時間に短縮された。

ABSTRACT

The support vector machine is a flexible optimization-based technique widely used for classification problems. In practice, its training part becomes computationally expensive on large-scale data sets because of such reasons as the complexity and number of iterations in parameter fitting methods, underlying optimization solvers, and nonlinearity of kernels. We introduce a fast multilevel framework for solving support vector machine models that is inspired by the algebraic multigrid. Significant improvement in the running has been achieved without any loss in the quality. The proposed technique is highly beneficial on imbalanced sets. We demonstrate computational results on publicly available and industrial data sets.

研究の動機と目的

• 大規模かつ不均衡なデータセットにおけるSVMトレーニングの高い計算コストに対処すること。標準的なソルバー（例：LibSVM）では非現実的になる場合を想定。
• 特に不均衡データに対して、分類品質を損なわず、WSVMのトレーニング効率を向上させること。
• 代数的多重グリッド（AMG）にインspiredされたスケーラブルなマルチレベル最適化フレームワークを構築すること。粗くすること、パラメータの継承、局所的精錬を可能とする。
• フルスケールのトレーニングが非現実的となるビッグデータ環境において、カーネルベースのSVMの実用的導入を可能とすること。
• 補間順序およびAMG粗くすることの質が分類器性能とトレーニング時間に与える影響を調査すること。

提案手法

• AMG粗くすることを用いて、元のSVM問題の段階的な粗い近似の階層を構築し、各レベルで自由度を低減する。
• 各粗いレベルで局所的最適化を用いてSVMを解き、得られたサポートベクターとモデルパラメータをより細かいレベルでの精錬に継承する。
• 粗くしないプロセス（uncoarsening）では、継承されたサポートベクターとその近傍で再トレーニングすることで、解を段階的に精度向上させる。
• 外部ソルバー（例：LibSVM）を異なる粗さのレベルに統合し、精錬ツールとして用いることで、柔軟性とスケーラビリティを向上させる。
• 粗くすることをガイドするため、k-NNグラフによるスペクトル近似を用い、単なる集約よりも幾何的忠実性と分類器品質を向上させる。
• AMGの補間演算子における補間順序を調整し、精度と性能のバランスを図る。高次の補間は品質を向上させるが、時間の増加を伴う。

実験結果

リサーチクエスチョン

• RQ1 AMGにインspiredされたマルチレベルフレームワークは、分類品質を損なわず、大規模WSVMのトレーニング時間を顕著に短縮できるか？
• RQ2 粗いレベルからサポートベクターとモデルパラメータを継承することは、不均衡データにおける最終分類器の精度とロバストネスにどのように影響するか？
• RQ3 高次のAMG補間を用いてデータの幾何的近似を改善することで、実世界のデータセットにおけるWSVM性能が向上するか？
• RQ4 フルスケールSVMトレーニングが非現実的となる産業的データセットにおいて、このマルチレベルフレームワークはどの程度スケーラブルか？
• RQ5 不均衡かつ大規模なデータセットにおいて、本手法は標準的なソルバー（LibSVM、LibLINEAR、アンサンブル手法）と比較して、性能と品質で優れているか？

主な発見

• 提案されたマルチレベルWSVM（MLWSVM）フレームワークは、20万以上の特徴量と10万件のサンプルを有する産業的BMWデータセットにおいて、トレーニング時間を数日から数時間にまで短縮し、顕著な高速化を達成した。
• BMWデータセットでは、通常のWSVMは高性能並列化や線形化がなければトレーニングを完了できなかったが、MLWSVMは実用的かつ効果的であった。
• ForestやHypothyroidなどの公開データセットにおいて、AMG補間順序を高めることで分類器のカッパ（κ）値が向上し、より良い幾何的近似による品質向上が確認された。
• 実行時間の増加にもかかわらず、高次の補間順序は分類品質に顕著な改善をもたらし、精錬された粗くすることの価値を裏付けた。
• 全テストデータセット（不均衡データを含む）において、分類品質を維持または向上させるとともに、LibLINEARやアンサンブルSVMを上回る精度を達成した。
• フル次元空間とSVD低次元化されたデータの両方に対して、品質に損なわれることなく適用可能であったが、フル次元では実行時間が延長された。