[論文レビュー] Rgtsvm: Support Vector Machines on a GPU in R

Zhong Wang, Tinyi Chu+2 more|arXiv (Cornell University)|Jun 17, 2017

Data Analysis with R参考文献 14被引用数 7

ひとこと要約

Rgtsvm は、GPU 計算を活用することで R におけるサポートベクターマシン（SVM）の処理を高速化し、数百万例の大きなデータセットにおいて 100 倍以上の性能向上を達成しました。e1071 R パッケージと完全に互換性があり、初心者から熟練者までの両方のユーザーがスケーラブルにトレーニングできるようになっています。

ABSTRACT

Rgtsvm provides a fast and flexible support vector machine (SVM) implementation for the R language. The distinguishing feature of Rgtsvm is that support vector classification and support vector regression tasks are implemented on a graphical processing unit (GPU), allowing the libraries to scale to millions of examples with >100-fold improvement in performance over existing implementations. Nevertheless, Rgtsvm retains feature parity and has an interface that is compatible with the popular e1071 SVM package in R. Altogether, Rgtsvm enables large SVM models to be created by both experienced and novice practitioners.

研究の動機と目的

• 大規模なデータセットにスケーリングする際、従来の CPU に基づく R における SVM 実装の性能ボトルネックを解消すること。
• 数百万例のデータセットにおけるサポートベクターマシンの効率的トレーニングを可能にすること。これは、標準的な R 実装では非現実的である。
• 広く使われている e1071 R パッケージとの機能的同等性とインターフェース互換性を維持することで、広範な使いやすさを確保すること。
• GPU アクセラレーションを活用したスケーラブルで高パフォーマンスなソリューションを、分類および回帰タスクの両方に対して提供すること。
• 馴染みのある R インターフェースを提供することで、初心者から経験豊富な実務家までが、高いパフォーマンスを享受できるようにすること。

提案手法

• CUDA 対応の GPU カーネルを用いて、並列計算によるサポートベクタ分類および回帰を実装する。
• GPU アクセラレーションを活用した線形および径方向基底関数（RBF）カーネル計算を統合し、カーネル行列の評価を高速化する。
• トレーニング中に GPU メモリ帯域幅のボトルネックを最小限に抑えるために、メモリ効率の良いデータレイアウトを設計する。
• e1071 パッケージの API を模倣したハイレベルな R インターフェースを公開し、シームレスな統合と使いやすさを実現する。
• SVM 最適化に不可欠な線形代数演算を最適化するために、cuDNN および cuBLAS ライブラリを活用する。
• C-SVC および nu-SVR を含む、標準的な SVM の定式化を用いて、分類および回帰タスクの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 GPU アクセラレーションにより、機能を損なわせることなく、R における SVM のトレーニング時間を著しく短縮できるか？
• RQ2 Rgtsvm は、既存の CPU に基づく R 実装と比較して、数百万例のデータセットにどの程度スケーリングできるか？
• RQ3 標準ベンチマークデータセットを用いた場合、Rgtsvm のパフォーマンスは e1071 パッケージと比べて、速度および正確性の面でどの程度異なるか？
• RQ4 GPU アクセラレーションを備えた SVM ライブラリは、広く採用されている e1071 R インターフェースと完全に互換性を保てるか？
• RQ5 GPU アクセラレーションは、R における大規模な機械学習タスクの SVM の実用性にどのような実際の影響を与えるか？

主な発見

• Rgtsvm は、数百万例の大きなデータセットにおいて、標準的な e1071 パッケージと比較して 100 倍以上のトレーニング時間の短縮を達成した。
• GPU アクセラレーション実装は、100 万例を超えるトレーニング例を含むデータセットに対しても、効率的にスケーリング可能であり、これは CPU に基づく R パッケージではしばしば非現実的である。
• Rgtsvm は e1071 パッケージと機能的同等性を維持しており、線形および RBF カーネルを用いた分類および回帰の両方をサポートしている。
• 性能向上は、異なるカーネルタイプおよび問題サイズの両方で一貫しており、強力なスケーラビリティを示している。
• このライブラリにより、かつては計算的に非現実的だった大規模な機械学習タスクにおける R における SVM の実用的利用が可能になった。
• インターフェース設計のおかげで後方互換性が確保されており、ユーザーは e1071 から Rgtsvm に最小限のコード変更で切り替えられる。