[論文レビュー] Using a thousand optimization tasks to learn hyperparameter search strategies

Luke Metz, Niru Maheswaranathan+4 more|arXiv (Cornell University)|Feb 27, 2020

Machine Learning and Data Classification参考文献 112被引用数 14

ひとこと要約

本稿では、画像分類、変分オートエンコーダー、ノーマライジングフロー、言語モデリングをカバーする、1,000件を超えるディーブラーニング最適化タスクからなる大規模かつ多様なデータセットであるTaskSetを紹介する。このデータセットからメタラーニングを用いて順序付きハイパーパramータサーチリストを学習することで、ランダムサーチに比べて顕著なサンプル効率の向上を達成し、ImageNet や LM1B といった新しいタスクに対しても強力な一般化性能を示した。2900万件のトレーニングカーブとコードを公開しており、再現性を確保している。

ABSTRACT

We present TaskSet, a dataset of tasks for use in training and evaluating optimizers. TaskSet is unique in its size and diversity, containing over a thousand tasks ranging from image classification with fully connected or convolutional neural networks, to variational autoencoders, to non-volume preserving flows on a variety of datasets. As an example application of such a dataset we explore meta-learning an ordered list of hyperparameters to try sequentially. By learning this hyperparameter list from data generated using TaskSet we achieve large speedups in sample efficiency over random search. Next we use the diversity of the TaskSet and our method for learning hyperparameter lists to empirically explore the generalization of these lists to new optimization tasks in a variety of settings including ImageNet classification with Resnet50 and LM1B language modeling with transformers. As part of this work we have opensourced code for all tasks, as well as ~29 million training curves for these problems and the corresponding hyperparameters.

研究の動機と目的

• 深層学習最適化のための、大規模で多様かつ応用に即したデータセットが不足しているという問題に対処すること。
• 深層学習におけるハイパーパramータチューニングの高い計算コストと環境的コストを低減すること。
• 多様なタスクに一般化可能な、データ駆動型のメタラーニングハイパーパramータサーチ戦略を開発すること。
• 最適なハイパーパramータ設定の順序を学習することで、より効率的でサンプル効率の高いハイパーパramータサーチを実現すること。
• 将来的な研究を加速させるために、包括的なベンチマークデータセット、トレーニングカーブ、およびコードを公開すること。

提案手法

• 画像分類、VAE、ノーマライジングフロー、言語モデリングをカバーする、多様なアーキテクチャ、データセット、ハイパーパramータ設定を備えた1,000件を超えるディーブラーニング最適化タスクのデータセットであるTaskSetを構築する。
• タスクを、データ、損失関数、モデルアーキテクチャを含む完全なトレーニングプロトコルとして定義し、パラメータ数に7桁のスケールの差が生じる。
• TaskSetに含まれるすべてのタスクでパフォーマンスを最大化するように、ハイパーパラメータの順序付きリストをメタラーニングで学習する。
• 固定されたハイパーパラメータ設定の順序を用いたサーチ戦略を採用し、TaskSet上で最適化を経て学習する。
• 最適なリストを学習するために、4,000種類の異なるハイパーパラメータ設定に対して約2900万個のモデルをトレーニングする。
• TensorFlow、JAX、PyTorchの各フレームワークでコードを公開し、すべてのトレーニングカーブとハイパーパラメータログを一般公開する。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済みハイパーパラメータサーチリストが、広範なディーブラーニングタスクに一般化可能か？
• RQ2 サンプル効率の観点から、メタラーニングで学習したハイパーパラメータ順序はランダムサーチに比べてどの程度優れているか？
• RQ3 小規模なタスクで学習したハイパーパラメータリストが、ImageNet や LM1B といった大規模タスクにどの程度一般化可能か？
• RQ4 タスクの多様性と規模が、学習済み最適化戦略のパフォーマンスとロバストネスに与える影響は何か？
• RQ5 異なる最適化アルゴリズムのハイパーパラメータ（例：初期の学習率、重み減衰）が、タスク間での一般化にどの程度寄与しているか？

主な発見

• メタラーニングで学習したハイパーパラメータリストは、ランダムサーチに比べて顕著なサンプル効率の向上を達成し、良好な設定に到達するための試行回数を大幅に削減した。
• 学習済みリストは、ResNet50のImageNetやLM1Bにおけるトランスフォーマー基盤の言語モデリングといった、新しい大規模タスクに対しても効果的に一般化した。
• 類似したアーキテクチャと目的を持つタスク（例：VAE、RNN）は、埋め込み空間でクラスタを形成しており、共通する最適化ダイナミクスを示している。
• TaskSetの多様性のおかげで、異なるモデルタイプやデータ分布にわたるロバストなハイパーパラメータ戦略の発見が可能になった。
• 2900万件のトレーニングカーブとハイパーパラメータログの公開は、将来的なメタラーニングやハイパーパラメータ分析に貴重なリソースを提供する。
• オープンソースのコードベースにより、新規モデルやフレームワークへの学習済みハイパーパラメータリストの即時展開が可能になった。