[論文レビュー] Learning to Transfer Initializations for Bayesian Hyperparameter Optimization.

Jungtaek Kim, Saehoon Kim+1 more|arXiv (Cornell University)|Oct 17, 2017

Machine Learning and Data Classification参考文献 13被引用数 3

ひとこと要約

この論文では、類似したデータセットから成功したハイパーパramータ設定を転送することで、ベイズ的ハイパーパramータ最適化の高速化を図るメタラーニング手法を提案する。類似度を学習するためのシアンズ型CNN-LSTMネットワークを用いて、メタ特徴量を学習し、関連する過去の設定を初期化として選択することで、特に画像分類のための深層残差ネットワークにおいて、新しいデータセットでの検証評価回数を顕著に削減する。

ABSTRACT

Hyperparameter optimization undergoes extensive evaluations of validation errors in order to find the best configuration of hyperparameters. Bayesian optimization is now popular for hyperparameter optimization, since it reduces the number of validation error evaluations required. Suppose that we are given a collection of datasets on which hyperparameters are already tuned by either humans with domain expertise or extensive trials of cross-validation. When a model is applied to a new dataset, it is desirable to let Bayesian hyperparameter optimzation start from configurations that were successful on similar datasets. To this end, we construct a Siamese network with convolutional layers followed by bi-directional LSTM layers, to learn {\em meta-features} over datasets. Learned meta-features are used to select a few datasets that are similar to the new dataset, so that a set of configurations in similar datasets is adopted as initializations for Bayesian hyperparameter optimization. Experiments on image datasets demonstrate that our learned meta-features are useful in optimizing several hyperparameters in deep residual networks for image classification.

研究の動機と目的

• 新しいデータセットにおけるベイズ的ハイパーパramータ最適化に必要な検証誤差評価回数を削減すること。
• 類似したデータセットからの事前チューニング済みハイパーパramータを、効果的な初期化として活用すること。
• ハイパーパramータチューニングにおける転移学習のためのデータセット類似度を捉える意味のあるメタ特徴量を学習すること。
• データセット類似度に基づいて関連する過去の設定を選択することで、最適化の効率を向上させること。
• 深層残差ネットワークを用いた画像分類タスクにおける本手法の有効性を示すこと。

提案手法

• 畳み込み層および双方向LSTM層を備えたシアンズ型ニューラルネットワークを、データセットからのメタ特徴量を学習するために訓練する。
• データセットからメタ特徴量を抽出し、それらを比較可能な内在的特徴として表現する。
• 学習されたメタ特徴量を用いて、新しいデータセットと過去にチューニング済みのデータセットとの類似度を計算する。
• 類似度が上位k個のデータセットを選択し、それらの過去に最適化されたハイパーパラメータ設定を取得する。
• 取得した設定を、新しいデータセットにおけるベイズ最適化の初期化に用いる。
• 本手法により、再訓練を伴わず、データセット間でハイパーパラメータ知識を効率的に転送可能である。

実験結果

リサーチクエスチョン

• RQ1 学習されたメタ特徴量は、新しいターゲットデータセットと類似するデータセットを効果的に特定できるか？
• RQ2 類似したデータセットからの設定を初期化として用いることで、必要な検証評価回数が減少するか？
• RQ3 ランダムまたは非転送ベースの初期化戦略と比較して、本手法は最適化の効率にどのように優れているか？
• RQ4 深層ネットワークから得られるメタ特徴量は、さまざまな画像分類タスクに一般化できる程度の性能を示すか？
• RQ5 本手法は、深層残差ネットワークのような複雑なモデルにおける複数のハイパーパラメータにスケーラブルか？

主な発見

• 提案手法は、新しいデータセットにおけるハイパーパラメータ最適化に必要な検証誤差評価回数を顕著に削減する。
• シアンズ型CNN-LSTMアーキテクチャを用いて学習されたメタ特徴量は、データセット類似度を効果的に捉えており、関連する過去の設定の正確な検索を可能にする。
• 類似したデータセットからの設定を初期化として用いることで、ランダムまたはデフォルト初期化と比較して、ベイズ最適化の収束が速くなる。
• 深層残差ネットワークを最適化する際、複数の画像分類データセットにおいて一貫した性能向上を示す。
• メタラーナーに双方向LSTMを用いることで、データセット表現における長距離依存関係のモデリングが向上し、転移性能が向上する。