[論文レビュー] Hyperparameter Optimization via Sequential Uniform Designs

Zebin Yang, Aijun Zhang|arXiv (Cornell University)|Sep 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 42被引用数 13

ひとこと要約

本稿では、自動機械学習（AutoML）におけるハイパーパramータ最適化（HPO）のための新しい逐次一様設計（SeqUD）手法を提案する。この手法は、補間モデルや獲得関数最適化を用いず、適応的で空間を均等に埋める設計点を活用する。さまざまな機械学習タスクにおいて評価された結果、SeqUDはベイズ最適化やベンチマーク手法を凌駕し、グローバル最適化および実世界のHPO応用の両方で最先端の性能を達成した。

ABSTRACT

Hyperparameter optimization (HPO) plays a central role in the automated machine learning (AutoML). It is a challenging task as the response surfaces of hyperparameters are generally unknown, hence essentially a global optimization problem. This paper reformulates HPO as a computer experiment and proposes a novel sequential uniform design (SeqUD) strategy with three-fold advantages: a) the hyperparameter space is adaptively explored with evenly spread design points, without the need of expensive meta-modeling and acquisition optimization; b) the batch-by-batch design points are sequentially generated with parallel processing support; c) a new augmented uniform design algorithm is developed for the efficient real-time generation of follow-up design points. Extensive experiments are conducted on both global optimization tasks and HPO applications. The numerical results show that the proposed SeqUD strategy outperforms benchmark HPO methods, and it can be therefore a promising and competitive alternative to existing AutoML tools.

研究の動機と目的

• 手動によるチューニングが非効率で再現性に欠ける自動機械学習（AutoML）におけるハイパーパramータ最適化（HPO）の課題に対処すること。
• 高価なメタモデルや獲得関数最適化に依存せずに、効率的で適応的なハイパーパramータ空間の探索を可能にする手法を開発すること。
• 並列評価を支援しつつ、探索空間の均一なカバーを維持することで収束性と頑健性を向上させること。
• 逐次的HPOにおける後続の設計点をリアルタイムで効率的に生成できる、新しい拡張一様設計（AugUD）アルゴリズムを導入すること。

提案手法

• SeqUD法はHPOをコンピュータ実験として再定式化し、各ハイパーパramータ設定を入力とし、モデル性能を出力として扱う。
• 一様設計（SeqUD）を用いて、探索空間全体に均等に分散するハイパーパramータ試行のバッチを生成し、均一なカバーを確保する。
• 既存の設計点に基づいて新たな設計点を効率的に生成できる拡張一様設計（AugUD）アルゴリズムを開発した。
• 複数のバッチに分けて設計点を生成する仕組みを備え、複数の設定を並列で評価可能であり、計算効率を向上させる。
• ベイズ最適化とは異なり、SeqUDは補間モデルや獲得関数最適化を回避することで、計算コストを低減する。
• 2つのオープンソースPythonパッケージ（PyUniDOE：一様設計生成用、SeqUD：HPOワークフロー用）を介して実装された。

実験結果

リサーチクエスチョン

• RQ1 補間モデルを用いず、既存のベイズ最適化手法を上回るような逐次的かつ空間を均等に埋める設計戦略は、ハイパーパramータチューニングにおいて有効であるか？
• RQ2 一様設計戦略は、粗い段階から細かい段階へと段階的にハイパーパramータ空間を適応的に探索できるか？
• RQ3 提案されたAugUDアルゴリズムは、逐次的HPOにおいて、効率的でリアルタイムな新規設計点の生成をどの程度可能にするか？
• RQ4 バッチ単位での設計点生成と並列評価は、実世界の機械学習応用における効率性と性能を向上させるか？
• RQ5 予測精度と収束速度の観点から、SeqUDはランダムサーチ、グリッドサーチ、ソボル系列と比較してどの程度優れているか？

主な発見

• SeqUDは20種類の多様な分類および回帰データセットにおいて、ベイズ最適化やベンチマーク手法を上回り、20のデータセットのうち11つで最高の平均精度を達成した。
• C1データセットでは97.02 ± 0.55の精度を達成し、次に優れた手法（96.77 ± 0.68）を顕著に上回り、新たなベンチマークを樹立した。
• C6データセットでは99.75 ± 0.35の精度を達成し、他のすべての手法を上回り、高次元設定下でも強い頑健性を示した。
• C11では90.52 ± 0.29の精度を達成し、次に優れた手法（89.83 ± 1.62）を上回った。これは、高い分散下でも安定性を示していることを示している。
• C20では92.71 ± 0.44の精度を達成し、2番目に優れた手法（91.04 ± 4.21）を顕著に上回り、ノイズが多いか複雑なデータセットでも優れた性能を示した。
• SeqUDは全20のデータセットにおいて優れた性能を示し、中央値精度が高く、分散が最小の12のデータセットで最も優位であった。これは、その頑健性と一般化能力を確認するものである。