[論文レビュー] Hyp-RL : Hyperparameter Optimization by Reinforcement Learning

Hadi S. Jomaa, Josif Grabocka+1 more|arXiv (Cornell University)|Jun 27, 2019

Machine Learning and Data Classification参考文献 37被引用数 34

ひとこと要約

この論文はハイパーパラメータ調整を強化学習問題として定式化し、Hyp-RLを導入する。Hyp-RLはLSTMを備えたQ-学習–ベースの方策で、将来報酬を最大化するためにハイパーパラメータ空間を探索し、50 データセットのメタデータセットにおいて最先端のベースラインよりも利得を示す。

ABSTRACT

Hyperparameter tuning is an omnipresent problem in machine learning as it is an integral aspect of obtaining the state-of-the-art performance for any model. Most often, hyperparameters are optimized just by training a model on a grid of possible hyperparameter values and taking the one that performs best on a validation sample (grid search). More recently, methods have been introduced that build a so-called surrogate model that predicts the validation loss for a specific hyperparameter setting, model and dataset and then sequentially select the next hyperparameter to test, based on a heuristic function of the expected value and the uncertainty of the surrogate model called acquisition function (sequential model-based Bayesian optimization, SMBO). In this paper we model the hyperparameter optimization problem as a sequential decision problem, which hyperparameter to test next, and address it with reinforcement learning. This way our model does not have to rely on a heuristic acquisition function like SMBO, but can learn which hyperparameters to test next based on the subsequent reduction in validation loss they will eventually lead to, either because they yield good models themselves or because they allow the hyperparameter selection policy to build a better surrogate model that is able to choose better hyperparameters later on. Experiments on a large battery of 50 data sets demonstrate that our method outperforms the state-of-the-art approaches for hyperparameter learning.

研究の動機と目的

• 高次元モデルに対するスケーラブルで堅牢な自動プロセスとしてのハイパーパラメータ調整を動機づける。
• ハイパーパラメータの従来のベイズ最適化における獲得関数を置換するための強化学習フレームワークを提案する。
• 複数のデータセットで訓練し、未知のデータセットで評価することで転移学習の可能性を示す。
• 大規模なメタデータセットで、ベースラインと比較して最終モデルの性能をHyp-RLが向上させる実証的証拠を示す。

提案手法

• データセットのメタ特徴と試行済み設定および報酬の履歴を含む状態を持つマルコフ決定過程としてハイパーパラメータ最適化を定式化する。
• LSTMを用いて行動価値関数をモデル化し、ハイパーパラメータ表面を探索するQ-learning–ベースの方策（Hyp-RL）を使用する。
• アクションをグリッドから次のハイパーパラメータ設定を選ぶこととして定義する。報酬は得られたモデルの検証損失の負の値に等しい。
• データセットに適応するために初期LSTM状態を条件づけるため、メタ特徴量を取り入れる（h0 = W0 * s_static）。
• 経験再生とターゲットネットワークを用いて訓練し、予算が尽きるか同じアクションが繰り返されたときにエピソードを終了する。
• 跨データセット転移と評価を研究するために、50個のランダムなUCI分類データセットからメタデータセット(nnMeta)を構築する。

実験結果

リサーチクエスチョン

• RQ1 強化学習方策は高次元のハイパーパラメータ空間を効果的にナビゲートして検証損失を改善できるか？
• RQ2 データセットのメタ特徴量を条件づけることは、ハイパーパラメータ最適化におけるデータセット間の転移を可能にするか？
• RQ3 多様なデータセットに対して、Hyp-RLはベイズ最適化のベースラインやメタラーニング代替モデルとどう比較されるか？
• RQ4 Hyp-RLアプローチの計算的特性とスケーラビリティはどうか？

主な発見

• Hyp-RLはデータセット間で知識を転移しないベースラインを一貫して上回る。
• Hyp-RLはメタ学習された代理モデル（F-MLP）と対等であり、各構成後に代理モデルを再適合させる必要がないため推論がより速い。
• 方策はエピソード報酬の増加と時間とともにハイパーパラメータ応答表面のより良いナビゲーションという学習進歩を示す。
• データセットのメタ特徴量で方策を条件づけることで、初期設定が改善され、未知データでの迅速な改善が可能になる。
• 方策の訓練には事前計算が相当な時間を要する（10百万フレームの訓練で約24 GPU-時間）が、構成を選択するオンライン推論は即座である。