[論文レビュー] Auto-WEKA: Automated Selection and Hyper-Parameter Optimization of Classification Algorithms

Chris Thornton, Frank Hutter+2 more|arXiv (Cornell University)|Aug 18, 2012

Fuzzy Logic and Control Systems被引用数 53

ひとこと要約

Auto-WEKA は、WEKA に含まれる 47 種類の分類器すべてを対象に、ベイズ最適化を用いて分類器とそのハイパーパrameterを同時に最適化する完全自動フレームワークを提案する。10 個の UCI ベンチマークデータセットにおいて、デフォルト設定よりも優れた分類性能を達成しており、エンドツーエンドの自動モデル選択およびハイパーパrameterチューニングの実現可能性を示している。

ABSTRACT

There exists a large variety of machine learning algorithms; as most of these can be configured via hyper-parameters, there is a staggeringly large number of possible alternatives overall. There has been a consid-erable amount of previous work on choosing among learning algorithms and, separately, on optimizing hyper-parameters (mostly when these are continuous and very few in number) in a given use context. However, we are aware of no work that addresses both problems together. Here, we demonstrate the feasibility of using a fully automated approach for choosing both a learning algorithm and its hyper-parameters, leveraging recent innovations in Bayesian optimization. Specifically, we apply this approach to the full range of classifiers implemented in WEKA, spanning 3 ensemble methods, 14 meta-methods, 30 base classifiers, and a wide range of hyper-parameter settings for each of these. On each of 10 popular data sets from the UCI repository, we show classification performance better than that of complete cross-validation over the default hyper-parameter settings of our 47 classification algorithms. We believe that our approach, which we dubbed Auto-WEKA, will enable typical users of machine learning algorithms to make better choices and thus to obtain better performance in a fully automated fashion. 1

研究の動機と目的

• 分類器とそのハイパーパrameterを同時に最適化する課題に取り組むこと。これは、これまでに一度も統合的に検討されていなかった。
• 熟練したユーザーでない人でも、手動でのチューニングや機械学習の専門知識を一切用いずに、より良い分類性能を達成できるようにすること。
• アルゴリズム選択とハイパーパrameter最適化のパイプライン全体をスケーラブルかつ効果的に自動化する可能性を示すこと。
• 多様な分類器と現実世界のデータセットを対象に、提案手法の性能を評価すること。
• 自動選択が、複数の標準ベンチマークデータセットにおいてデフォルト設定を上回ることを示すこと。

提案手法

• 本手法は、学習アルゴリズムとそのハイパーパrameterの共同探索空間を、ベイズ最適化によって探索する。
• 30 個のベース分類器、14 個のメタ法、3 個のアンサンブル法を含む、WEKA に実装された全 47 種類の分類器を活用する。
• 連続的および離散的ハイパーパrameterの両方をカバーするハイパーパラメータ探索を、交差検証を用いて各設定で評価する。
• 最適化プロセスでは、有望な設定へ効率的に到達するよう、確率的モデルを用いて探索をガイドする。
• 初期設定後はユーザーの介入を一切不要とする、完全自動化されたフレームワークとして設計されている。
• 一般性を確保するため、10 個の標準的な UCI ベンチマークデータセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全自動化されたシステムが、分類器選択とハイパーパラメータチューニングを同時に最適化し、デフォルト設定を上回る性能を発揮できるか？
• RQ2 多様な分類器とそのハイパーパラメータの複雑な探索空間を効果的に探索するため、ベイズ最適化はどの程度有効か？
• RQ3 本手法は、多様な現実世界のデータセットにおいて一貫して分類性能を向上させられるか？
• RQ4 全組み合わせの交差検証をデフォルト設定に対して実施した場合と比較して、本システムはより優れた結果を出すことができるか？
• RQ5 自動化によって、モデル選択における熟練知識の必要性はどの程度低下するか？

主な発見

• Auto-WEKA は、10 個のすべての UCI ベンチマークデータセットにおいて、デフォルトのハイパーパラメータ設定に対する完全な交差検証を上回る分類性能を達成した。
• 人為的な干渉なしに、優れたモデルとハイパーパラメータを効果的に同定できた。これにより、エンドツーエンドの自動化の実現可能性が裏付けられた。
• ベース分類器、メタ法、アンサンブル法を含む多様な分類器タイプにおいて、デフォルト設定を上回る性能が得られた。
• ベイズ最適化は、アルゴリズムとハイパーパラメータの組み合わせからなる高次元探索空間を効果的に探索できた。
• 分類器とハイパーパラメータを同時に最適化することで、それぞれを別々にチューニングするのとは比べ物にならないほどの性能向上が得られた。
• 本システムにより、通常のユーザーが機械学習の設定に関する専門知識を一切持たなくても、より良い性能を得られるようになった。