[論文レビュー] AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data

Romain Égelé, Prasanna Balaprakash+3 more|arXiv (Cornell University)|Oct 30, 2020

Machine Learning and Data Classification参考文献 30被引用数 6

ひとこと要約

AgEBO-Tabularは、アーキテクチャ探索に老化進化（AgE）を、ハイパーパramータ探索に非同期ベイズ最適化（BO）を組み合わせた、共同でのニューラルアーキテクチャ探索（NAS）とハイパーパramータ探索（HPS）フレームワークを提案する。このアプローチにより、データ並列学習ハイパーパramータ（例：初期学習率、バッチサイズ）を自動チューニングすることで、1アーキテクチャあたりの訓練時間を顕著に短縮し、大規模な表形式データセットにおけるモデル精度を向上させた。結果として、最先端のAutoML手法を上回る精度と推論速度を達成した。

ABSTRACT

Developing high-performing predictive models for large tabular data sets is a challenging task. The state-of-the-art methods are based on expert-developed model ensembles from different supervised learning methods. Recently, automated machine learning (AutoML) is emerging as a promising approach to automate predictive model development. Neural architecture search (NAS) is an AutoML approach that generates and evaluates multiple neural network architectures concurrently and improves the accuracy of the generated models iteratively. A key issue in NAS, particularly for large data sets, is the large computation time required to evaluate each generated architecture. While data-parallel training is a promising approach that can address this issue, its use within NAS is difficult. For different data sets, the data-parallel training settings such as the number of parallel processes, learning rate, and batch size need to be adapted to achieve high accuracy and reduction in training time. To that end, we have developed AgEBO-Tabular, an approach to combine aging evolution (AgE), a parallel NAS method that searches over neural architecture space, and an asynchronous Bayesian optimization method for tuning the hyperparameters of the data-parallel training simultaneously. We demonstrate the efficacy of the proposed method to generate high-performing neural network models for large tabular benchmark data sets. Furthermore, we demonstrate that the automatically discovered neural network models using our method outperform the state-of-the-art AutoML ensemble models in inference speed by two orders of magnitude while reaching similar accuracy values.

研究の動機と目的

• 大規模な表形式データセットにおけるNASにおけるニューラルアーキテクチャの評価にかかる計算コストの高い問題に対処すること。
• ニューラルアーキテクチャとデータ並列学習ハイパーパramータを共同で最適化することで、訓練効率とモデル精度を向上させること。
• 個々のNAS手法における訓練時間のボトル neck を、適応的かつ自動チューニングされたデータ並列化により軽減すること。
• 既存のAutoML手法を上回る性能を示すスケーラブルで汎用性のあるフレームワークを構築すること。
• 最小限の人的介入でNASを加速するためのベイズ最適化における強力な探索戦略の有効性を示すこと。

提案手法

• スキップ接続とマルチインプット対応を備えた全結合ニューラルネットワークアーキテクチャの集団を生成・進化させるために、老化進化（AgE）を採用する。
• 初期学習率、バッチサイズ、勾配蓄積ステップ数を含むデータ並列学習ハイパーパramータを自動チューニングする非同期ベイズ最適化（BO）を導入する。
• 表形式データに特化した探索空間を採用し、スキップ接続や複数の入力ブランチを持つアーキテクチャを可能にする。
• 有望な構成に多くのリソースを割り当てるために、BO内で逐次半分法（successive halving）を適用し、サンプル効率を向上させる。
• 複数のノードにわたるデータ並列学習を活用し、ナチュラルな並列化による精度低下を回避するため、BOでハイパーパラメータをチューニングする。
• アーキテクチャ探索とハイパーパラメータチューニングを共同で最適化するパイプラインとして、AgEとBOを非同期かつ統合的に組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 自動チューニングされたデータ並列学習ハイパーパラメータを組み合わせた共同NASとハイパーパラメータ探索は、大規模な表形式データセットにおいて、モデル精度の向上と訓練時間の短縮を実現できるか？
• RQ2 固定またはヒューリスティックな設定と比較して、データ並列学習ハイパーパラメータの自動チューニングは、モデル性能にどのように影響を与えるか？
• RQ3 ベイズ最適化におけるより強い探索戦略（強力な利用）は、人的介入を最小限に抑えながら、高性能なモデルの発見を加速できるか？
• RQ4 AutoGluon や Auto-PyTorch といった最先端のAutoMLフレームワークと比較して、AgEBO-Tabularは精度と推論時間の両面で優れているか？
• RQ5 AgEBO-Tabularの性能は、データセット固有のハイパーパラメータチューニングにどれほど依存しているか？

主な発見

• AgEBO-Tabularは、2つの大規模なECP-CANDLE表形式データセットにおいて、最先端の人的設計モデルを上回る精度と訓練時間でニューラルネットワークモデルを発見した。
• 固定設定のナチュラルなデータ並列学習と比較して、データ並列学習ハイパーパラメータの自動チューニングにより、モデル精度が顕著に向上した。
• 強力な利用戦略を採用した非同期BOにより、収束が速く、サンプル効率も向上し、広範な探索の必要性が低減された。
• 同じベンチマークデータセットにおいて、AgEBO-TabularはAutoGluon や Auto-PyTorch と比較して、同等または優れた精度を達成しながらも、優れた推論速度を示した。
• 最高性能を発揮する設定は、データセット固有のハイパーパラメータチューニングを必要としており、万能な設定は最適でないことが示された。
• このフレームワークはNVIDIA GPUに限定されず、CPUベースのクラスターやハイブリッドプラットフォームにも、最小限の変更で適応可能である。