[論文レビュー] HyperSTAR: Task-Aware Hyperparameters for Deep Networks

Gaurav Mittal, Chang Liu+4 more|arXiv (Cornell University)|May 21, 2020

Advanced Neural Network Applications参考文献 47被引用数 4

ひとこと要約

HyperSTAR は、生画像からデータセットとハイパーパramータの共同表現を学習し、高い性能を示す設定を推奨する、タスクに適応したハイパーパramータ最適化フレームワークである。エンド・トゥ・エンドで未学習のタスクにおける性能を予測するモデルを訓練することで、HPOの探索時間を50%削減し、ハイパーバンドが通常のバージョンやベイズ最適化を用いたバージョンに比べて必要な予算の25%で最適な精度に到達できる。

ABSTRACT

While deep neural networks excel in solving visual recognition tasks, they require significant effort to find hyperparameters that make them work optimally. Hyperparameter Optimization (HPO) approaches have automated the process of finding good hyperparameters but they do not adapt to a given task (task-agnostic), making them computationally inefficient. To reduce HPO time, we present HyperSTAR (System for Task Aware Hyperparameter Recommendation), a task-aware method to warm-start HPO for deep neural networks. HyperSTAR ranks and recommends hyperparameters by predicting their performance conditioned on a joint dataset-hyperparameter space. It learns a dataset (task) representation along with the performance predictor directly from raw images in an end-to-end fashion. The recommendations, when integrated with an existing HPO method, make it task-aware and significantly reduce the time to achieve optimal performance. We conduct extensive experiments on 10 publicly available large-scale image classification datasets over two different network architectures, validating that HyperSTAR evaluates 50% less configurations to achieve the best performance compared to existing methods. We further demonstrate that HyperSTAR makes Hyperband (HB) task-aware, achieving the optimal accuracy in just 25% of the budget required by both vanilla HB and Bayesian Optimized HB~(BOHB).

研究の動機と目的

• すべてのデータセットを同じように扱うタスクに依存しないハイパーパramータ最適化（HPO）手法の非効率性に対処すること。これは、視覚的特徴にかかわらず、すべてのデータセットを同等に扱う。
• 生画像からの視覚的事前知識を活用して、データセットとハイパーパramータの共同表現を学習し、HPOの効率性を向上させる手法を開発すること。
• 特定のタスクに適した高パフォーマンスなハイパーパramータ設定を推奨することで、既存のHPOアルゴリズムのウォームスタートを可能にすること。
• 特に計算リソースの制約が厳しい状況下でも、評価する設定の数を著しく削減しながら最適なパフォーマンスを達成すること。

提案手法

• HyperSTAR は、エンド・トゥ・エンドの方法で、深層ニューラルネットワークを用いて生画像からタスク表現を直接学習する。
• 学習されたタスク表現に基づき、特定のハイパーパramータ設定の精度を推定する性能予測モデルを同時に訓練する。
• 本手法は、過去の多様なデータセットで事前学習を行うオフラインのメタラーニングフェーズと、未学習の新しいデータセットに対してオンラインで推奨を行う2段階のフレームワークを採用する。
• 予測されたパフォーマンスに基づいてハイパーパラメータ設定をランク付けし、ハイパーバンドなどのHPOパイプラインでの優先順位付けを可能にする。
• 既存のHPO手法との統合において、ランダムまたは一様な設定のサンプリングをタスクに適応した候補のランク付けに置き換える。
• 類似したデータセットの表現を一致させるために対照的学習の目的関数を用い、タスク間での一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成されたメタ特徴に依存せずに、生画像のみに基づいて新しい画像分類タスクの最適なハイパーパラメータ設定を予測できるモデルは構築可能か？
• RQ2 データセットとハイパーパラメータの共同表現は、ハイパーパラメータ最適化の効率性を向上させるのにどの程度有効か？
• RQ3 HyperSTAR は、最終的なモデルの精度を維持または向上させながら、評価する設定の数をどの程度削減できるか？
• RQ4 特に低予算設定下で、HyperSTAR は最先端のHPOアルゴリズム（例：ハイパーバンド）の高速化に寄与できるか？

主な発見

• HyperSTAR は、10個のスケールの大きな画像分類データセットにおいて、最適なTop-1精度を同じ水準で達成しながら、最新の手法と比較して評価するハイパーパラメータ設定の数を50%削減した。
• ハイパーバンドに統合された場合、HyperSTAR は通常のハイパーバンドやベイズ最適化を用いたハイパーバンド（BOHB）が要する予算の25%で最適なパフォーマンスに到達した。
• 最小の予算設定（100エポック）において、HyperSTAR を用いたハイパーバンドは、通常のHBやBOHBに比べて平均で1.5%高いTop-1精度を達成した。
• データセットのグループ化に依存せず、生ピixelsから学習する点で、Tr-AutoML よりも効率的に性能を発揮し、評価予算を10分の1にまで削減した。
• 予算が増加するにつれて、HyperSTAR とベースライン手法とのパフォーマンスの差が縮小する傾向にあり、HyperSTAR が大予算条件下でも効率的かつ有効であることが示された。
• アブレーションスタディの結果、データセットとハイパーパラメータの共同表現をエンド・トゥ・エンドで学習することが、優れた一般化性能と推奨品質の向上に不可欠であることが確認された。