[論文レビュー] GURLS: a Least Squares Library for Supervised Learning

Andrea Tacchetti, Pavan Kumar Mallapragada+2 more|arXiv (Cornell University)|Mar 5, 2013

Machine Learning and Algorithms参考文献 5被引用数 42

ひとこと要約

GURLS は、中規模および大規模データセットにおける高速でスケーラブルなトレーニングとモデル選択を可能にする、モジュラーでオープンソースの最小二乗法ライブラリであり、正則化最小二乗法（RLS）を活用している。プライマルおよびデュアル定式化、マルチアウトプット学習、メモリマップドストレージ、分散計算をサポートしており、特にランダム特徴量近似を用いる場合、従来のSVMと比較して著しく短いトレーニング時間を実現しながら、最先端の精度を達成している。

ABSTRACT

We present GURLS, a least squares, modular, easy-to-extend software library for efficient supervised learning. GURLS is targeted to machine learning practitioners, as well as non-specialists. It offers a number state-of-the-art training strategies for medium and large-scale learning, and routines for efficient model selection. The library is particularly well suited for multi-output problems (multi-category/multi-label). GURLS is currently available in two independent implementations: Matlab and C++. It takes advantage of the favorable properties of regularized least squares algorithm to exploit advanced tools in linear algebra. Routines to handle computations with very large matrices by means of memory-mapped storage and distributed task execution are available. The package is distributed under the BSD licence and is available for download at https://github.com/CBCL/GURLS.

研究の動機と目的

• 大規模かつ高次元のデータを扱える、高速でモジュラーかつ拡張可能な supervised learning 用ソフトウェアライブラリの開発。
• 特にマルチアウトプットおよびマルチクラス問題において、ビッグデータ環境における効率的なトレーニングとモデル選択のニーズに対応すること。
• Matlab および C++ 実装をサポートする統一的で使いやすいインターフェースを提供し、最小限の依存関係を維持すること。
• メモリマップドストレージと分散タスク実行を活用して、大規模データセットにおけるメモリ効率の良い計算を実現すること。
• LS-SVM や LIBSVM といった既存手法を、特にカーネル近似技術を用いる場合に、精度とトレーニング速度の両面で上回ること。

提案手法

• ライブラリは、学習を線形方程式系の解法に還元する正則化最小二乗法（RLS）に基づいて構築されており、高度な線形代数ツールの効率的利用を可能にしている。
• プライマルおよびデュアル定式化の両方をサポートしており、サンプル数と特徴量数の相対的な大きさに応じて最適なパフォーマンスを達成できる。
• タスクが共有オプション構造を介して伝達される、パイプラインベースのアーキテクチャを採用しており、GURLScore エンジンによってタスクが連結されている。
• 大規模な行列のメモリマップドストレージにより、完全なメモリロードを回避することで、メモリ効率を向上させている。
• タスクマネージャーを介して複数プロセスにマトリクス演算を分割することで、分散計算をサポートし、大規模データセットのスケーラブルな処理を実現している。
• RBFカーネル学習の高速化のため、ランダム特徴量近似を実装しており、精度の損失を最小限に抑えつつ、トレーニング時間を著しく短縮している。

実験結果

リサーチクエスチョン

• RQ1 最小二乗法に基づくライブラリは、大規模な学習問題において、従来のSVMと比較して著しく高速なトレーニング速度を実現しながら、最先端の精度を達成できるか？
• RQ2 ランダム特徴量近似は、RBFカーネル学習における計算コストを著しく削減するが、分類精度を損なわず、どの程度有効であるか？
• RQ3 メモリマップドストレージおよび分散処理を組み合わせることで、利用可能なRAMを超えるデータセットの効率的処理はどの程度可能になるか？
• RQ4 GURLS のモジュラーでパイプラインベースの設計は、機械学習の専門家でないユーザーにとって、拡張性と使いやすさをどの程度向上させるか？
• RQ5 RLS と高度な最適化戦略（例：ランダム化ソルバ、正則化パス計算）を組み合わせることで、マルチアウトプットおよび高次元設定において優れたパフォーマンスが得られるか？

主な発見

• GURLS は線形プライマル定式化を用いて、optdigits データセットで 0.49 秒のトレーニング時間で 92.3% の精度を達成した。これに対して LS-SVM は同じタスクに 7190 秒を要した。
• GURLS で 500 個のランダム特徴量を使用した場合、optdigits データセットで 25.6 秒のトレーニング時間で 96.8% の精度を達成した。RBFカーネルバージョンは 13,500 秒を要したのと比較して、著しく高速であった。
• isolet データセットでは、GURLS の RBFカーネルが 100,600 秒で 98.4% の精度を達成した。LS-SVM の 98.36% とほぼ同等の精度であり、トレーニング時間は 20% 減少した。
• C++ 実装（GURLS++）は Matlab 版よりも著しく高速であり、予測精度は同一であった。これは、低レベル最適化によるパフォーマンス向上を示している。
• GURLS におけるランダム特徴量近似法は、SVM と同等の性能を達成したが、はるかに低い計算コストを実現しており、大規模応用に最適である。
• グリッドサーチによるパラメータ選定において、GURLS は固定の 400 点グリッドを用いて一貫した結果を得た。一方、LS-SVM はグリッドサイズが変動し、最大 70 点に制限されていた。これは、GURLS がハイパーパramータチューニングにおいて優れた効率性を示していることを示している。