[論文レビュー] Auto-Sklearn 2.0: The Next Generation

Matthias Feurer, Katharina Eggensperger+3 more|arXiv (Cornell University)|Jul 8, 2020

Machine Learning and Data Classification参考文献 59被引用数 67

ひとこと要約

この論文では、より簡素化されたメタラーニングアプローチ、反復的アルゴリズムの改善された取り扱い、バンディットベースの予算割り当て戦略を用いることで、効率性とパフォーマンスを向上させた次世代の自動機械学習システムであるAuto-sklearn 2.0を紹介する。39のベンチマークデータセット上で評価された結果、Auto-sklearn 1.0に比べてレグレットが最大5倍まで低減された。

ABSTRACT

Automated Machine Learning, which supports practitioners and researchers with the tedious task of manually designing machine learning pipelines, has recently achieved substantial success. In this paper we introduce new Automated Machine Learning (AutoML) techniques motivated by our winning submission to the second ChaLearn AutoML challenge, PoSH Auto-sklearn. For this, we extend Auto-sklearn with a new, simpler meta-learning technique, improve its way of handling iterative algorithms and enhance it with a successful bandit strategy for budget allocation. Furthermore, we go one step further and study the design space of AutoML itself and propose a solution towards truly hand-free AutoML. Together, these changes give rise to the next generation of our AutoML system, Auto-sklearn (2.0). We verify the improvement by these additions in a large experimental study on 39 AutoML benchmark datasets and conclude the paper by comparing to Auto-sklearn (1.0), reducing the regret by up to a factor of five.

研究の動機と目的

• 機械学習における手動パイプライン設計の限界を解消するため、自動パイプライン構築を進化させること。
• 勝者となったChaLearn AutoMLコンテスト参加作品にインspiredされた新規技術を用いて、AutoMLの効率性とパフォーマンスを向上させること。
• AutoML自体の設計空間を探索・最適化し、真に手をかけない自動化を可能にすること。
• 予算割り当てとメタラーニング戦略の強化により、ハイパーパramータ最適化におけるレグレットを低減すること。

提案手法

• モデル選択およびパイプライン構成の改善を目的とした、簡素化されたメタラーニング技術を導入する。
• 適応的最適化戦略を用いて、反復的機械学習アルゴリズムの取り扱いを強化する。
• パイプライン間での計算リソースを動的に割り当てるバンディットベースの予算割り当て戦略を採用する。
• 自動的かつエンドツーエンドのパイプライン探索と最適化を可能にする新アーキテクチャをAuto-sklearnに拡張する。
• PoSH Auto-sklearnコンテストでの優勝経験から得た知見を、手法の改善に活用する。

実験結果

リサーチクエスチョン

• RQ1 複雑さを増させずに、メタラーニングをどのように簡素化すればAutoMLのパフォーマンスを向上させられるか？
• RQ2 反復的アルゴリズムの取り扱いを改善することで、全体のAutoML効率にどのような影響を与えるか？
• RQ3 バンディットベースの予算割り当て戦略は、AutoMLパイプライン探索におけるレグレットを顕著に低減できるか？
• RQ4 AutoMLの設計空間をどの程度体系的に探索できるかが、真に手をかけない自動化を可能にするか？

主な発見

• 39のベンチマークデータセット全体で、Auto-sklearn 2.0はAuto-sklearn 1.0に比べて最大5倍のレグレット低減を達成した。
• 簡素化されたメタラーニング技術により、モデル選択の正確性が向上し、探索時間が短縮された。
• バンディットベースの予算割り当て戦略により、有望なパイプラインが効果的に優先され、リソース効率が向上した。
• 反復的アルゴリズムの取り扱いの改善により、収束が早まり、複雑なパイプラインでもパフォーランスが向上した。