[論文レビュー] Tabular Benchmarks for Joint Architecture and Hyperparameter Optimization

Aaron Klein, Frank Hutter|arXiv (Cornell University)|May 13, 2019

Machine Learning and Data Classification参考文献 25被引用数 33

ひとこと要約

この論文は、4つの回帰データセットにまたがり、固定の2層のフィードフォワードネットワークを網羅的に評価することで、ニューラルアーキテクチャとハイパーパラメータ最適化の安価で表形式のベンチマークを提供し、HPO手法の堅牢で再現可能な比較を可能にする。

ABSTRACT

Due to the high computational demands executing a rigorous comparison between hyperparameter optimization (HPO) methods is often cumbersome. The goal of this paper is to facilitate a better empirical evaluation of HPO methods by providing benchmarks that are cheap to evaluate, but still represent realistic use cases. We believe these benchmarks provide an easy and efficient way to conduct reproducible experiments for neural hyperparameter search. Our benchmarks consist of a large grid of configurations of a feed forward neural network on four different regression datasets including architectural hyperparameters and hyperparameters concerning the training pipeline. Based on this data, we performed an in-depth analysis to gain a better understanding of the properties of the optimization problem, as well as of the importance of different types of hyperparameters. Second, we exhaustively compared various different state-of-the-art methods from the hyperparameter optimization literature on these benchmarks in terms of performance and robustness.

研究の動機と目的

• 現実的でありながら安価なベンチマークを用いてHPO手法の実証的評価を容易にする。
• 多数の設定グリッドにわたる最適化問題の特性を特徴づける。
• ニューラルネットワークのチューニングにおけるアーキテクチャ系ハイパーパラメータと訓練ハイパーパラメータの重要性を評価する。
• 標準化されたベンチマークで最先端HPO手法の幅広い比較を行う。
• ニューラルHPO/NAS研究で再現可能な実験を可能にするデータとコードを提供する。

提案手法

• 4つのアーキテクチャ選択と5つの訓練/ハイパーパラメータを含む2層フィードフォワードニューラルネットワークの大規模な設定グリッドを構築し、離散化後に62,208の設定を得る。
• 各設定を4つのUCI回帰データセット（protein, slice, naval, Parkinson）で訓練し、60/20/20のtrain/val/test分割、特徴量とターゲットを正規化。
• 各設定を異なる種で4回繰り返し、学習/検証/テスト誤差、訓練時間、エポックごとのパラメータ数を記録する。
• ECDF、予算間のSpearman相関、グローバルな重要性と対相互作用を評価するためのfANOVAを用いてデータセット特性とハイパーパラメータの重要性を分析する。
• 複数のHPO手法（ランダム探索、SMAC、TPE、Bohamiann、Regularized Evolution、Hyperband/BOHB、RL）を手法ごとに500独立実行でベンチマークし、レグレットと頑健性を報告する。

実験結果

リサーチクエスチョン

• RQ1 ベンチマークデータセットが捉えたHPO/NAS探索空間の経験的特性と難易度は何か。
• RQ2 どのハイパーパラメータ（および相互作用）がデータセット全体で最終性能に最も影響するか。
• RQ3 異なるHPO手法の性能はどうで、これらの表形式ベンチマーク上でどれだけ頑健か。
• RQ4 設定のランキングは予算とデータセットを跨いで安定しており、効果的なマルチフィデリティ最適化を可能にするか。
• RQ5 これらのベンチマークはHPO手法の再現可能な評価と公正な比較を支援できるか。

主な発見

• 設定間で最終誤差に大きな変動があり、一部は低いMSEを達成する一方で多くははるかに高い誤差の外れ値となる。
• 初期学習率は平均的に非常に重要なハイパーパラメータだが、空間の一部では高次の相互作用が支配的である。
• 現状の設定は一部のハイパーパラメータ反転に対して頑健性が脆く、活性化関数の選択（relu vs tanh）が特に影響的である。
• 最良の設定はデータセットをまたいで modestに変化するが、いくつかのパラメータ（例：初期LR）はすべてのデータセットで一貫して有効である。
• ベイズ最適化手法と多変量アプローチ（BOHB）は初期段階でランダム探索を上回り、後半の収束は内部モデルにより異なる。強化学習は最終的にトップの性能を達成できるがサンプル効率は低い。強化ベースの手法とBohamiannは頑健性のトレードオフを示す。
• すべての設定を考慮するとデータセット間で設定のランキングは相関するが、上位のパフォーマーのみを対象とすると相関は弱くなる。マルチタスクデータの利用には価値があることを示唆する。