[論文レビュー] AutoHAS: Differentiable Hyper-parameter and Architecture Search.

Xuanyi Dong, Mingxing Tan+4 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Neural Network Applications参考文献 44被引用数 17

ひとこと要約

AutoHASは、連続的ハイパーパramータをカテゴリカル基底ベクトルの線形結合としてモデル化することで、最適なニューラルネットワークアーキテクチャとハイパーパramータを同時に探索する微分可能アプローチを提案する。これにより、すべての構成における効率的な重み共有が可能となり、1つのモデルを訓練するのと同等の計算コストでImageNetでは最大2%の精度向上、SQuAD 1.1ではF1スコア0.4の向上を達成。従来のランダムサーチやベイズ最適化に比べて計算効率が10倍向上している。

ABSTRACT

Neural Architecture Search (NAS) has achieved significant progress in pushing state-of-the-art performance. While previous NAS methods search for different network architectures with the same hyper-parameters, we argue that such search would lead to sub-optimal results. We empirically observe that different architectures tend to favor their own hyper-parameters. In this work, we extend NAS to a broader and more practical space by combining hyper-parameter and architecture search. As architecture choices are often categorical whereas hyper-parameter choices are often continuous, a critical challenge here is how to handle these two types of values in a joint search space. To tackle this challenge, we propose AutoHAS, a differentiable hyper-parameter and architecture search approach, with the idea of discretizing the continuous space into a linear combination of multiple categorical basis. A key element of AutoHAS is the use of weight sharing across all architectures and hyper-parameters which enables efficient search over the large joint search space. Experimental results on MobileNet/ResNet/EfficientNet/BERT show that AutoHAS significantly improves accuracy up to 2% on ImageNet and F1 score up to 0.4 on SQuAD 1.1, with search cost comparable to training a single model. Compared to other AutoML methods, such as random search or Bayesian methods, AutoHAS can achieve better accuracy with 10x less compute cost.

研究の動機と目的

• 従来のNAS手法がアーキテクチャ全体でハイパーパramータを固定するという制限を解消し、最適でない性能に至ることを防ぐ。
• 離散的アーキテクチャと連続的ハイパーパramータを統合的に扱う微分可能フレームワークで、両者を同時に探索可能にする。
• 単一モデルの訓練レベルに近い計算コストで探索コストを削減しながら、高い精度向上を維持する。
• 視覚および自然言語処理のベンチマークで、アーキテクチャとハイパーパramータを同時に最適化することでモデル性能を向上させる。
• 重み共有と微分可能な演算を用いて、アーキテクチャとハイパーパramータの巨大な統合探索空間を効率的に探索する手法を開発する。

提案手法

• AutoHASは、連続的ハイパーパラメータ空間をカテゴリカル基底ベクトルの線形結合に離散化することで、連続的および離散的探索空間の両方で微分可能最適化を可能にする。
• アーキテクチャ選択（カテゴリカル）とハイパーパラメータ（連続的）の組み合わせとして統合探索空間を定式化し、微分可能リラクゼーションを用いて勾配ベース最適化を可能にする。
• すべてのアーキテクチャおよびハイパーパラメータ構成にわたる重み共有を採用することで、統合探索空間の評価にかかる計算コストを著しく削減する。
• アーキテクチャ空間の連続的リラクゼーションを用いた微分可能アーキテクチャ探索を実施し、ハイパーパラメータは基底ベクトル係数の勾配降下により最適化する。
• エンドツーエンドのバックプロパゲーションを通じて、アーキテクチャとハイパーパラメータを同時に最適化する1つの微分可能探索プロセスを採用する。
• 最終的なモデルは、微分可能探索中に発見された最高性能のアーキテクチャ-ハイパーパラメータ構成から選択される。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャとハイパーパラメータの統合的最適化は、分離的または固定ハイパーパラメータNASよりも優れたモデル性能をもたらすか？
• RQ2 連続的ハイパーパラメータは、カテゴリカルなアーキテクチャ選択を同時に扱う微分可能探索フレームワークにどのように効果的に統合できるか？
• RQ3 アーキテクチャとハイパーパラメータの統合的探索の計算コストはどの程度で、単一モデルの訓練レベルにまで低減可能か？
• RQ4 ランダムサーチやベイズ最適化と比較して、AutoHASはハイパーパラメータおよびアーキテクチャ探索において精度と効率の両面で優れているか？
• RQ5 異なるアーキテクチャが個別に最適なハイパーパラメータ構成を必要とし、それが統合探索空間に統合可能か？

主な発見

• AutoHASは、ハイパーパラメータを固定する標準的なNAS手法と比較して、ImageNetにおけるトップ-1精度を最大2%向上させる。
• SQuAD 1.1ベンチマークでは、ベースラインモデルと比較してF1スコアが0.4の絶対的向上を達成する。
• これらの向上は、単一モデルを訓練するのと同等の計算コストで達成されており、非常に高い効率性を示す。
• ランダムサーチやベイズ最適化に比べ、計算コストを10倍削減しながらも、より高い精度を達成する。
• 統合探索空間により、アーキテクチャごとにその構造に特化したハイパーパラメータを発見可能となり、一般化性能の向上に寄与する。
• すべての構成にわたる重み共有により、顕著なオーバーヘッドを伴わず、大規模な統合探索空間のスケーラブルかつ効率的な探索が可能になる。