[論文レビュー] Ensemble Squared: A Meta AutoML System

Jason J. Yoo, Tony Joseph+3 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification参考文献 20被引用数 4

ひとこと要約

Ensemble Squared（Ensemble 2）は、複数の多様なオープンソースAutoMLツールからのパイプラインをアンサンブルすることで、テーブル分類ベンチマークで最先端のパフォーマンスを達成するメタAutoMLシステムである。基本的なAutoMLシステムの補完的で異なる探索戦略とモデル空間を活用することで、精度と耐性を向上させ、実行時間比較において個々のシステム、特にAutoGluonを上回る性能を発揮する。

ABSTRACT

There are currently many barriers that prevent non-experts from exploiting machine learning solutions ranging from the lack of intuition on statistical learning techniques to the trickiness of hyperparameter tuning. Such barriers have led to an explosion of interest in automated machine learning (AutoML), whereby an off-the-shelf system can take care of many of the steps for end-users without the need for expertise in machine learning. This paper presents Ensemble Squared (Ensemble$^2$), an AutoML system that ensembles the results of state-of-the-art open-source AutoML systems. Ensemble$^2$ exploits the diversity of existing AutoML systems by leveraging the differences in their model search space and heuristics. Empirically, we show that diversity of each AutoML system is sufficient to justify ensembling at the AutoML system level. In demonstrating this, we also establish new state-of-the-art AutoML results on the OpenML tabular classification benchmark.

研究の動機と目的

• 機械学習の適用にあたって非エキスパートが直面する障壁、すなわちモデル選択とハイパーパrameterチューニングの複雑さを軽減すること。
• 異なる探索戦略とモデル空間を有する複数のAutoMLシステムをアンサンブルすることで、性能向上が見込めるかどうかを調査すること。
• 複数の既存AutoMLツールの長所を統合した、耐性がありアクセスしやすいAutoMLシステムを構築すること。
• メタアンサンブルによるAutoMLシステムの統合を用いて、OpenMLのテーブル分類ベンチマークで新たな最先端のベースラインを確立すること。

提案手法

• 本システムは二段階のパイプラインを採用する：まず、Singularityコンテナを介してM個の基本AutoMLシステムを並列実行し、固定時間制限内で機械学習パイプラインを探索する。
• 各基本システムは独自の探索空間、ヒューリスティクス、ハイパーパrameter最適化戦略を用いてパイプライン探索を実行し、モデルおよび前処理選択の多様性を活用する。
• 探索フェーズ終了後、すべての基本システムからバリデーションスコア順に上位K個のパイプラインが選択され、必要に応じて全トレーニングセットで再トレーニングされる。
• 選択されたパイプラインは、メジャー投票またはスタッキングメタラーナーを用いてアンサンブルされ、最終的なテストセット予測が得られる。
• 本システムは耐性を重視して設計されており、すべての基本AutoMLシステムが失敗する場合にのみ失敗するため、個々のシステムよりも信頼性が向上する。
• パブリックなWebインターフェースにより、非エキスパートでもデータセットをアップロードし、最小限の技術的スキルで予測結果を入手できる。

実験結果

リサーチクエスチョン

• RQ1 複数のAutoMLシステムをアンサンブルすることで、個々のシステムと比較して性能が向上するか？
• RQ2 既存のAutoMLシステムの性能に十分な多様性があるため、AutoMLレベルでのメタアンサンブルが正当化されるか？
• RQ3 実行時間と同等の計算量という両方の制約下で、Ensemble 2は最先端のAutoMLシステムと比較してどうなるか？
• RQ4 基本AutoMLシステムが、異なるデータセット間で相関のある性能を示すか、相関のない性能を示すか、その程度はいかほどか？

主な発見

• Ensemble 2は、OpenMLのテーブル分類ベンチマークで新たな最先端の結果を達成し、実行時間比較においてすべての個々のAutoMLシステムを上回った。
• 1時間の実行時間制限下の比較では、Ensemble 2は41個のOpenMLデータセットのうち31個で1位を獲得したのに対し、AutoGluonは30個で1位だった。
• 同等の計算量条件（1時間 vs. 5時間実行）下でもEnsemble 2は競争力を持ち続け、AutoGluonが全体的に最高のパフォーマンスを示したが、他のシステムは長時間実行でわずかなパフォーマンス低下を示した。
• 相関分析の結果、基本AutoMLシステムは中程度から低めの相関（例：AutoGluonとCMU AutoML間でr ≈ 0.79）を示しており、メタアンサンブルを正当化する十分な多様性があることが示された。
• 本システムは改善された耐性を示し、すべての基本AutoMLシステムが失敗した場合にのみ失敗したため、個々のシステムの失敗に対しても耐性があることが強調された。
• アンサンブルによる性能向上は、基本AutoMLシステム間の探索空間、ヒューリスティクス、前処理戦略の多様性に起因するとされた。