[論文レビュー] Automated Machine Learning via ADMM.

Sijia Liu, Parikshit Ram+5 more|arXiv (Cornell University)|May 1, 2019

Machine Learning and Data Classification参考文献 33被引用数 9

ひとこと要約

本稿では、拡張ラグランジュ関数を用いて問題を分解することで、混合整数HPOおよび組み合わせバンディットに基づくアルゴリズム選択のための効率的でクエリ効率の良いベイズ最適化を可能にする、ADMMに基づくAutoMLフレームワークを提案する。この手法は、ベンチマークデータセットにおいてTPOT や Auto-sklearn といった最先端のAutoMLツールを上回る性能を発揮する。

ABSTRACT

We study the automated machine learning (AutoML) problem of jointly selecting appropriate algorithms from an algorithm portfolio as well as optimizing their hyper-parameters for certain learning tasks. The main challenges include a) the coupling between algorithm selection and hyper-parameter optimization (HPO), and b) the black-box optimization nature of the problem where the optimizer cannot access the gradients of the loss function but may query function values. To circumvent these difficulties, we propose a new AutoML framework by leveraging the alternating direction method of multipliers (ADMM) scheme. Due to the splitting properties of ADMM, algorithm selection and HPO can be decomposed through the augmented Lagrangian function. As a result, HPO with mixed continuous and integer constraints are efficiently handled through a query-efficient Bayesian optimization approach and Euclidean projection operator that yields a closed-form solution. Algorithm selection in ADMM is naturally interpreted as a combinatorial bandit problem. The effectiveness of our proposed methodology is compared to state-of-the-art AutoML schemes such as TPOT and Auto-sklearn on numerous benchmark data sets.

研究の動機と目的

• 自動機械学習（AutoML）におけるアルゴリズム選択とハイパーパramータ最適化（HPO）の連携的な課題に対処すること。
• 混合連続および整数ハイパーパramータを有するHPOのブラックボックス的・勾配フリーな性質を扱うこと。
• アルゴリズム選択を組み合わせバンディット問題としてモデル化し、アルゴリズムパフォーマンスの探索を効率的に行えるようにすること。
• ADMMを用いて連合最適化問題を分解することで、スケーラビリティと収束性を向上させる統合フレームワークの構築。

提案手法

• 交替方向乗数法（ADMM）を用いて、拡張ラグランジュ関数を介してアルゴリズム選択とHPOの連合問題を分解する。
• ユークリッド射影を介して閉形式解を得ることで、混合整数ハイパーパramータ空間におけるクエリ効率の良いベイズ最適化戦略を採用する。
• アルゴリズム選択を組み合わせバンディット問題としてモデル化し、離散的なアルゴリズム選択の探索を効率的に行えるようにする。
• アルゴリズム選択とHPOを交互に解ける部分問題に分離するスプリット機構を導入する。各部分問題には特化した最適化技術を適用可能である。
• 拡張ラグランジュ関数を用いて、アルゴリズム選択とHPOのコンポONENT間の一致を強制し、最適化の整合性を確保する。
• ユークリッド射影を用いて、最適化プロセス中に整数および連続ハイパーパramータの妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、性能を維持しつつ、AutoMLにおけるアルゴリズム選択とハイパーパramータ最適化を効果的に分離できるか？
• RQ2 ADMMと統合された場合、ベイズ最適化は混合整数ハイパーパラメータ空間をどれほど効率的に扱えるか？
• RQ3 アルゴリズム選択に組み合わせバンディット定式化を適用することで、ランダム選択やグリーディ選択戦略を凌駆できるか？
• RQ4 提案されたADMMベースのフレームワークは、最先端のAutoMLツールと比較して、より優れた一般化性能と低いクエリ複雑度を達成できるか？

主な発見

• 提案されたADMMベースのAutoMLフレームワークは、複数のベンチマークデータセットにおいてTPOT や Auto-sklearn を上回る優れた性能を発揮する。
• ユークリッド射影を統合したベイズ最適化の統合により、混合整数ハイパーパラメータ空間における効率的かつ妥当な最適化が可能になる。
• アルゴリズム選択に組み合わせバンディット定式化を適用することで、計算コストの低いアルゴリズムパフォーマンスの探索が可能になる。
• ベイズ最適化部のクエリ効率性のおかげで、サンプル効率が向上していることが実証された。
• ADMMによる分解のおかげで、アルゴリズム選択とHPOの連合最適化問題の安定的かつスケーラブルな最適化が実現された。
• 実験的結果から、本手法は予測性能において常に最先端のAutoMLベースラインを上回るか、同等の性能を発揮することが示された。