[論文レビュー] Fast cross-validation for incremental learning

Pooria Joulani, András György+1 more|arXiv (Cornell University)|Jul 25, 2015

Machine Learning and Algorithms参考文献 23被引用数 5

ひとこと要約

本論文は、学習アルゴリズムの段階的性質を活用することで、増分学習における高速な交差検証の一般的で効率的な手法を提案する。これにより、fold数に対する計算コストを線形スケーリングから対数スケーリングに低減する。この手法により、多様な教師ありおよび教師なしタスクにおいてスケーラブルかつ並列化可能な性能推定が可能になる。

ABSTRACT

Cross-validation (CV) is one of the main tools for performance estimation and parameter tuning in machine learning. The general recipe for computing CV estimate is to run a learning algorithm separately for each CV fold, a computationally expensive process. In this paper, we propose a new approach to reduce the computational burden of CV-based performance estimation. As opposed to all previous attempts, which are specific to a particular learning model or problem domain, we propose a general method applicable to a large class of incremental learning algorithms, which are uniquely fitted to big data problems. In particular, our method applies to a wide range of supervised and unsupervised learning tasks with different performance criteria, as long as the base learning algorithm is incremental. We show that the running time of the algorithm scales logarithmically, rather than linearly, in the number of CV folds. Furthermore, the algorithm has favorable properties for parallel and distributed implementation. Experiments with state-of-the-art incremental learning algorithms confirm the practicality of the proposed method.

研究の動機と目的

• 機械学習における伝統的な交差検証の高い計算コスト、特に大規模データに対しての課題を解決すること。
• 特定のモデルや分野に限定されない、広範な増分学習アルゴリズムに適用可能な手法を開発すること。
• 大規模データアプリケーションにおける効率的な性能推定およびハイパーパramータチューニングを可能にすること。
• 交差検証のfold数に対して対数時間計算量を達成することで、実行時間を顕著に短縮すること。
• 実世界のシステムにおけるスケーラビリティを向上させるために、並列および分散実装をサポートすること。

提案手法

• 各foldに対して再学習を再び行うのを避けるために、学習アルゴリズムの段階的性質を活用すること。
• fold間で事前に計算されたモデルを再利用することで、交差検証推定値を計算する分割統治戦略を採用すること。
• 訓練データの再帰的分解を適用し、fold固有の推定値を対数時間で計算可能にする。
• 教師ありおよび教師なし学習の両方の性能基準に対応できるように、手法を設計すること。
• fold計算を分離することで、並列および分散コンピューティングフレームワークとの互換性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 精度を損なわずに、増分学習アルゴリズムにおける交差検証を著しく高速化できるか？
• RQ2 多様な学習タスクおよび性能指標に適用可能な汎用的手法を設計できるか？
• RQ3 交差検証の計算複雑度をfold数に対して線形から対数に低減できるか？
• RQ4 提案手法は大規模な環境における効率的な並列および分散実行をサポートできるか？
• RQ5 最先端の増分学習アルゴリズムにおいて、標準的な交差検証と比較して、実際のスケーリング特性はいかがなっているか？

主な発見

• 提案手法により、交差検証の計算コストがfold数に対して線形スケーリングから対数スケーリングに低減された。
• 本手法は一般性を備えており、異なる性能基準を用いた多数の教師ありおよび教師なし学習タスクに適用可能である。
• モジュール型かつ再利用可能な構造のおかげで、並列および分散実装が効率的に行える。
• 最先端の増分学習アルゴリズムを用いた実験により、本手法の実用性とスケーラビリティが確認された。
• 実行時間が顕著に短縮される一方で、精度を維持できており、大規模データアプリケーションにおける交差検証の実現可能性が高まった。