[論文レビュー] Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms

Chris Thornton, Frank Hutter+2 more|arXiv (Cornell University)|Aug 17, 2012

Machine Learning and Data Classification被引用数 190

ひとこと要約

Auto-WEKA は、アルゴリズム選択をハイパーパrameterとして扱うことで、機械学習アルゴリズムの選定とハイパーパrameterチューニングを同時に実行する完全自動化されたベイズ最適化ベースのフレームワークを提案する。786次元の探索空間を TPE および SMAC 最適化手法を用いて探索することで、21個の多様なデータセット、特に大規模なデータセットにおいて、標準的手法を上回る性能を発揮した。実用的導入においては SMAC が優れた選択肢であることが示された。

ABSTRACT

Many different machine learning algorithms exist; taking into account each algorithm's hyperparameters, there is a staggeringly large number of possible alternatives overall. We consider the problem of simultaneously selecting a learning algorithm and setting its hyperparameters, going beyond previous work that addresses these issues in isolation. We show that this problem can be addressed by a fully automated approach, leveraging recent innovations in Bayesian optimization. Specifically, we consider a wide range of feature selection techniques (combining 3 search and 8 evaluator methods) and all classification approaches implemented in WEKA, spanning 2 ensemble methods, 10 meta-methods, 27 base classifiers, and hyperparameter settings for each classifier. On each of 21 popular datasets from the UCI repository, the KDD Cup 09, variants of the MNIST dataset and CIFAR-10, we show classification performance often much better than using standard selection/hyperparameter optimization methods. We hope that our approach will help non-expert users to more effectively identify machine learning algorithms and hyperparameter settings appropriate to their applications, and hence to achieve improved performance.

研究の動機と目的

• 従来の研究でほとんど無視されてきた、組み合わせ的アルゴリズム選択とハイパーパrameter最適化問題（CASH）に対処すること。
• 熟練したユーザーに依存せずに、手動のチューニングなしで高パフォーマンスを発揮する機械学習設定を自動的に同定できるようにすること。
• アルゴリズム選択をハイパーパrameterとして扱うことで、現代のベイズ最適化を用いた有効な探索が可能になることを示すこと。
• 多様なデータセットにわたる Auto-WEKA の性能を、標準的なアルゴリズム選択およびハイパーパrameterチューニング手法と比較して評価すること。
• 実証的分析を通じて、データセットに依存するアルゴリズムおよび特徴選択の好みを特定すること。

提案手法

• アルゴリズム選択をハイパーパrameterとして扱うことで、CASH 問題を階層的ハイパーパrameter最適化タスクとして形式化する。
• 木構造を用いたパルゼン推定（TPE）および逐次モデルに基づくアルゴリズム構成（SMAC）を用いたベイズ最適化により、27個の基本分類器、10個のメタ手法、2個のアンサンブル手法、および11個の特徴選択設定（3つの探索手法 + 8つの評価手法）を含む786次元の空間を探索する。
• WEKA に実装済みの27個の基本分類器、10個のメタ手法、2個のアンサンブル手法、および11個の特徴選択設定（3つの探索 + 8つの評価手法）を統合する。
• k-フォールド交差検証を用いてモデルの性能を推定し、最適化プロセスをガイドする。
• UCI、KDD Cup 09、MNIST の変種、CIFAR-10 を含む21個のデータセットの結果を集約し、汎化性能を評価する。
• 走行回数および最適化手法ごとにアルゴリズムおよび特徴選択の選択頻度に基づいて順位付けを行い、データセット依存の好みを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 完全自動化されたシステムは、学習アルゴリズムとハイパーパrameterの組み合わせ空間を効果的に探索し、高パフォーマンスな設定を特定できるか？
• RQ2 Auto-WEKA の性能は、多様なデータセットにおいて、標準的な分離されたアルゴリズム選択およびハイパーパrameterチューニング手法と比較してどうか？
• RQ3 CASH の文脈において、TPE と SMAC のどちらのベイズ最適化手法がより優れた結果をもたらすか？
• RQ4 Auto-WEKA が選択するアルゴリズムおよび特徴選択設定には、データセットに依存する好みがあるか？
• RQ5 Auto-WEKA がデータ駆動で選択する特徴選択手法は、小規模データセットと大規模データセットに対して効果的な正則化戦略を反映しているか？

主な発見

• Auto-WEKA は、特に CIFAR-10 や KDD Cup 09 などの大規模データセットにおいて、標準的なアルゴリズム選択およびハイパーパrameterチューニング手法を顕著に上回る性能を発揮した。
• SMAC を用いた Auto-WEKA のバージョンは、TPE よりも一貫して高い性能を発揮し、実用的導入に推奨された。
• 特定の基本分類器が選択プロセスを支配することなく、ランダムフォレスト、SVM、およびシングルレイヤーパーセプトロンがそれぞれ約12％の頻度で選ばれた。
• 大規模データセットでは、AdaBoostM1 やランダムサブスペースなどのメタ手法が頻繁に選ばれ、REP 樹木や意思決定表が一般的なベースラーナーとなった。
• 小規模データセットでは特徴選択がより頻繁に適用され、ランカー探索手法と情報量ゲイン評価手法が最も好まれた。
• Auto-WEKA の内部的な交差検証プロセスにより、データに依存した特徴選択の選択が可能となり、小規模データセットでは正則化として、大規模データセットでは全特徴量の学習として利用された。