[論文レビュー] FLO: Fast and Lightweight Hyperparameter Optimization for AutoML.

Chi Wang, Qingyun Wu|arXiv (Cornell University)|Nov 12, 2019

Machine Learning and Data Classification参考文献 2被引用数 5

ひとこと要約

FLO は、反復回数を最小化するのではなく、モデルの複雑さ、評価コスト、精度のトレードオフを包括的にモデル化することで、評価コストを最小化する高速で軽量なハイパーパrameter最適化手法です。大規模な AutoML ベンチマークにおいて、ベイズ最適化およびランダムサーチを凌駕する優れた性能を発揮し、チューニング時間を顕著に短縮しながら高い精度を維持しています。

ABSTRACT

Integrating ML models in software is of growing interest. Building accurate models requires right choice of hyperparameters for training procedures (learners), when the training dataset is given. AutoML tools provide APIs to automate the choice, which usually involve many trials of different hyperparameters for a given training dataset. Since training and evaluation of complex models can be time and resource consuming, existing AutoML solutions require long time or large resource to produce accurate models for large scale training data. That prevents AutoML to be embedded in a software which needs to repeatedly tune hyperparameters and produce models to be consumed by other components, such as large-scale data systems. We present a fast and lightweight hyperparameter optimization method FLO and use it to build an efficient AutoML solution. Our method optimizes for minimal evaluation cost instead of number of iterations to find accurate models. Our main idea is to leverage a holistic consideration of the relations among model complexity, evaluation cost and accuracy. FLO has a strong anytime performance and significantly outperforms Bayesian Optimization and random search for hyperparameter tuning on a large open source AutoML Benchmark. Our AutoML solution also outperforms top-ranked AutoML libraries in a majority of the tasks on this benchmark.

研究の動機と目的

• 大規模なデータセットに対するハイパーパrameterチューニングにおける、従来の AutoML 解決策の高い計算コストと長いトレーニング時間に対処すること。
• 大規模なデータパイプラインなど、迅速なモデル生成を要するソフトウェアシステムにおいて、効率的で繰り返し可能なハイパーパrameterチューニングを可能にすること。
• 反復回数の最小化ではなく、最小評価コストを最適化することで、実際のデプロイメントにおけるリソース効率を向上させること。
• 最先端の手法を上回る速さで高精度なモデルを提供する、いつでも性能を発揮する AutoML 解決策を開発すること。

提案手法

• FLO は、ハイパーパrameter最適化を、モデルの複雑さ、評価コスト、予測精度のトレードオフを明示的にモデル化したコスト最小化問題として定式化する。
• 変数の変更がトレーニングコストとモデルパフォーマンスに与える影響を包括的に分析するアプローチを採用し、より知的な探索意思決定を可能にする。
• 精度対コスト比が最も優れたハイパーパrameter設定を動的に優先することで、不要な評価を削減する。
• リソース制約のある環境でも、迅速で繰り返し可能なチューニングを可能にするために、AutoML パイプラインと統合する。
• いつでも性能を発揮するアーキテクチャを採用しており、割り当てられた時間が長くなるほどモデル品質が継続的に向上するため、時間に敏感なアプリケーションに適している。
• 従来のベイズ最適化の計算オーバーヘッドを回避する軽量で効率的なアプローチを設計している。

実験結果

リサーチクエスチョン

• RQ1 反復回数の最小化ではなく評価コストの最小化によって、ハイパーパラメータ最適化を高速化できるか？
• RQ2 複雑さ、コスト、精度の包括的モデルが、AutoML におけるチューニング効率をどのように向上させるか？
• RQ3 FLO は、大規模なデータセットにおいて、ベイズ最適化およびランダムサーチと比較して、速度と精度の面でどの程度優れているか？
• RQ4 繰り返し低遅延でモデルチューニングを要するソフトウェアシステムに、FLO を効果的にデプロイできるか？

主な発見

• FLO は、評価コストを削減しながらも、ベイズ最適化およびランダムサーチを大きく上回るハイパーパラメータチューニングの精度を達成している。
• 強力ないつでも性能を発揮する特性を持ち、限られた時間予算でも高品質なモデルを提供している。
• 大規模なオープンソース AutoML ベンチマークにおいて、FLO の AutoML 解決策は、大多数のタスクで上位ランクの AutoML ライブラリを上回っている。
• FLO は、大規模なトレーニングデータに対して正確なモデルを生成するために必要な時間とリソースの消費を削減している。
• 複雑さ、コスト、精度の包括的モデルにより、より効率的な探索パスが得られ、無駄な評価が減少している。
• FLO は、大規模なデータ処理パイプラインなど、繰り返し低遅延でモデル生成を要するシステムにおける AutoML の実用的デプロイメントを可能にしている。