[論文レビュー] Auto-Sklearn 2.0: Hands-free AutoML via Meta-Learning

Matthias Feurer, Katharina Eggensperger+3 more|arXiv (Cornell University)|Jul 8, 2020

Machine Learning and Data Classification参考文献 111被引用数 9

ひとこと要約

Auto-sklearn 2.0 は、メタラーニングとパフォーマンス最適化のための順次半分法（PoSH）を用いて、自動機械学習（AutoML）におけるハイレベルな設計意思決定を自動化する、手をかけないAutoMLフレームワークを導入する。メタラーニングに基づく設定選択と、順次半分法を用いた予算割り当て戦略を組み合わせることで、従来60分で達成可能だった性能を10分で達成可能にし、ベンチマークデータセット上で相対誤差を最大4.5倍まで低減した。

ABSTRACT

Automated Machine Learning (AutoML) supports practitioners and researchers with the tedious task of designing machine learning pipelines and has recently achieved substantial success. In this paper, we introduce new AutoML approaches motivated by our winning submission to the second ChaLearn AutoML challenge. We develop PoSH Auto-sklearn, which enables AutoML systems to work well on large datasets under rigid time limits by using a new, simple and meta-feature-free meta-learning technique and by employing a successful bandit strategy for budget allocation. However, PoSH Auto-sklearn introduces even more ways of running AutoML and might make it harder for users to set it up correctly. Therefore, we also go one step further and study the design space of AutoML itself, proposing a solution towards truly hands-free AutoML. Together, these changes give rise to the next generation of our AutoML system, Auto-sklearn 2.0. We verify the improvements by these additions in an extensive experimental study on 39 AutoML benchmark datasets. We conclude the paper by comparing to other popular AutoML frameworks and Auto-sklearn 1.0, reducing the relative error by up to a factor of 4.5, and yielding a performance in 10 minutes that is substantially better than what Auto-sklearn 1.0 achieves within an hour.

研究の動機と目的

• AutoMLシステムにおけるハイレベルな設計意思決定（例：モデル選択や予算割り当て）の課題に対処すること。
• パイプライン探索だけでなく、AutoMLフレームワーク自体の設定まで自動化する、真の手をかけないAutoMLシステムの開発。
• 特に迅速なプロトタイピングワークフローにおける実世界の展開を想定した、厳密な時間制約下での効率性とパフォーマンスの向上。
• データセットのメタ特徴量に基づくメタラーニングを用いて、最適なAutoML設定を自動選択することで、熟練者のチューニングの必要性を低減すること。
• メタラーニングと適応的予算割り当てを活用することで、限られた時間内でも、既存のAutoMLフレームワーク（Auto-sklearn 1.0を含む）を上回る性能を達成すること。

提案手法

• 順次半分法（SH）による予算割り当てと、モデル選択戦略（ホールドアウト法または交差検証）を組み合わせた PoSH Auto-sklearn を導入。これにより、有望なパイプラインに動的にリソースを割り当てる。
• アルゴリズム選択に基づくメタラーニング技術を採用し、与えられたデータセットに対して最適なAutoML設定（例：ホールドアウト法対交差検証、フル予算対順次半分法）を自動的に選択する。
• OpenMLの208個のデータセットを用いて事前学習されたメタラーナーを活用し、新しいデータセットに対して最適な設定を予測することで、手動チューニングを不要にする。
• 複数の設定を並列で評価するポータフォリオアプローチを採用。性能フィードバックを活用して、メタラーニングによる意思決定を改善する。
• 時間制約下でも有望な設定を効率的に探索・活用できる、バンドイット風の予算割り当て戦略を採用。
• 複雑なデータセット記述子に依存しない、メタ特徴量フリーのメタラーニングアプローチを採用。これにより汎化性能が向上し、セットアップのオーバーヘッドが低減される。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、与えられたデータセットに対してAutoMLシステムの最適な設定（例：モデル選択や予算割り当て戦略）を自動的に選択できるか？
• RQ2 順次半分法とメタラーニングによる設定選択を組み合わせることで、固定または手動チューニングされた戦略と比較して、時間制約下でのパフォーマンスが向上するか？
• RQ3 Auto-sklearn 2.0 は、パイプライン探索だけでなく、AutoMLフレームワーク自体のハイパーパramータまで自動化することで、どの程度手をかけない運用を達成できるか？
• RQ4 Auto-sklearn 1.0 や他の最先端AutoMLフレームワークと比較して、予測性能と効率性の面でAuto-sklearn 2.0 はどのように差をつけるか？
• RQ5 提案されたメタラーニングアプローチは、明示的なメタ特徴量に依存せずに、多様なデータセットに一般化可能か？

主な発見

• Auto-sklearn 2.0 は、時間制約下で39のベンチマークデータセットにおいて、Auto-sklearn 1.0 と比較して相対誤差を最大4.5倍まで低減した。
• 10分間で達成可能な性能が、Auto-sklearn 1.0 では60分後にのみ達成可能であったことから、著しい効率性の向上が確認された。
• キーコンポーネントである PoSH Auto-sklearn は、順次半分法によるリソースの効率的割り当てのおかげで、フル予算を用いた Auto-sklearn 1.0 を上回る性能を発揮した。
• メタラーニングに基づく設定選択は、各データセットに対して最適な設定（例：ホールドアウト法対交差検証、予算戦略）を自動で選択することで、パフォーマンスを顕著に向上させた。
• Auto-sklearn 2.0 は、39のベンチマークデータセットにおいて、限られた時間内でも他の人気のあるAutoMLフレームワークを上回る最先端のパフォーマンスを達成した。
• メタ特徴量フリーのメタラーニングアプローチにより、手動での特徴工学的作業を必要とせず、強固で汎化性の高い設定選択が可能になった。