[論文レビュー] An ADMM Based Framework for AutoML Pipeline Configuration

Sijia Liu, Parikshit Ram+7 more|arXiv (Cornell University)|May 1, 2019

Machine Learning and Data Classification参考文献 29被引用数 10

ひとこと要約

本論文は、複雑な混合整数および連続変数のブラックボックス最適化問題を扱い、ADMMに基づくAutoMLパイプライン設定フレームワークを提案する。ADMMの交互最適化を活用することで、アルゴリズム選択とハイパーパramータチューニングを効率的に統合し、一般化されたブラックボックス制約を組み込む。Auto-sklearn や TPOT よりも50%のデータセットで優れた性能を示し、顕著な高速化と精度向上を達成した。

ABSTRACT

We study the AutoML problem of automatically configuring machine learning pipelines by jointly selecting algorithms and their appropriate hyper-parameters for all steps in supervised learning pipelines. This black-box (gradient-free) optimization with mixed integer & continuous variables is a challenging problem. We propose a novel AutoML scheme by leveraging the alternating direction method of multipliers (ADMM). The proposed framework is able to (i) decompose the optimization problem into easier sub-problems that have a reduced number of variables and circumvent the challenge of mixed variable categories, and (ii) incorporate black-box constraints along-side the black-box optimization objective. We empirically evaluate the flexibility (in utilizing existing AutoML techniques), effectiveness (against open source AutoML toolkits),and unique capability (of executing AutoML with practically motivated black-box constraints) of our proposed scheme on a collection of binary classification data sets from UCI ML& OpenML repositories. We observe that on an average our framework provides significant gains in comparison to other AutoML frameworks (Auto-sklearn & TPOT), highlighting the practical advantages of this framework.

研究の動機と目的

• 教師あり機械学習パイプラインにおける統合的アルゴリズム選択とハイパーパramータ最適化の課題に対処すること。
• 勾配を必要とせずにAutoMLにおける混合整数および連続変数空間を扱うこと。
• AutoML最適化プロセスに一般化されたブラックボックス制約を組み込むこと。
• ADMMを用いて複雑なパイプライン設定問題をより単純で解ける部分問題に分解すること。
• Auto-sklearn や TPOT などの既存のAutoMLツールキットよりも効率的かつ効果的な性能を向上させること。

提案手法

• フレームワークは、交替方向乗数法（ADMM）を用いてパイプライン設定問題を3つの部分問題に分解する：連続的ハイパーパramータ最適化、整数射影、アルゴリズム選択。
• ADMMにより、プライマル変数と双対変数の交互最適化が可能となり、混合整数および連続変数が分離される。
• ブラックボックス制約はADMMフレームワーク内に自然に組み込まれ、部分問題の構造を変更せずに扱える。
• ADMMアルゴリズムの高速なベンチマーク評価を可能にするために、AutoML評価コストを模倣する新しい目的関数を設計した。
• 可変長、非順序的、再利用可能なパイプラインモジュールをサポートし、複雑なアーキテクチャの探索を可能にする。
• 関数評価の繰り返しを保証するため、固定された乱数シードを用いる。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、統合的アルゴリズム選択とハイパーパramータ最適化問題を、より単純で解ける部分問題に効果的に分解できるか？
• RQ2 提案されたADMMベースのフレームワークは、Auto-sklearn や TPOT などの既存のAutoMLツールと比較して、どのように性能を発揮するか？
• RQ3 このフレームワークは、AutoMLパイプライン設定において一般化されたブラックボックス制約をどの程度効果的に処理できるか？
• RQ4 分解によって、実世界のAutoMLタスクにおいて顕著な高速化と性能向上が達成されるか？
• RQ5 このフレームワークは、複雑で非順序的かつ可変長のパイプラインを効率的に探索できるか？

主な発見

• ADMMベースのフレームワークは、UCIおよびOpenMLリポジトリのベンチマークデータセットの50%でAuto-sklearn や TPOT を上回った。
• Auto-sklearn は27%のデータセットで最高の性能を達成したのに対し、TPOT は20%で最高だった。
• 多くのケースで、ベースライン手法と比較して最適化時間に10倍以上の高速化を達成した。
• 他のAutoMLフレームワークと比較して、平均で10%の性能向上を達成した。
• コア部分問題の構造を変更せずに、一般化されたブラックボックス制約を最適化プロセスに効果的に組み込むことに成功した。
• 人工的な目的関数により、最小限の計算コストでADMMアルゴリズムの評価が効率的に行え、スケーラビリティとロバストネスの妥当性が検証された。