[論文レビュー] AutoHAS: Efficient Hyperparameter and Architecture Search

Xuanyi Dong, Mingxing Tan+4 more|arXiv (Cornell University)|Jun 5, 2020

Machine Learning and Data Classification参考文献 43被引用数 24

ひとこと要約

AutoHAS は、重み共有を用いた強化学習を用いて、ハイパーパramータとニューラルアーキテクチャの共同探索を統合的かつ効率的に行うフレームワークである。重み共有されたネットワークとコントローラーを交互に最適化することで、CIFAR-10/100、ImageNet、Places365で、メモリコストを著しく削減しながらも、未最適化モデルでは最大11.4%、高度に最適化されたモデル（例：EfficientNet-B0）では0.8%の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

Efficient hyperparameter or architecture search methods have shown remarkable results, but each of them is only applicable to searching for either hyperparameters (HPs) or architectures. In this work, we propose a unified pipeline, AutoHAS, to efficiently search for both architectures and hyperparameters. AutoHAS learns to alternately update the shared network weights and a reinforcement learning (RL) controller, which learns the probability distribution for the architecture candidates and HP candidates. A temporary weight is introduced to store the updated weight from the selected HPs (by the controller), and a validation accuracy based on this temporary weight serves as a reward to update the controller. In experiments, we show AutoHAS is efficient and generalizable to different search spaces, baselines and datasets. In particular, AutoHAS can improve the accuracy over popular network architectures, such as ResNet and EfficientNet, on CIFAR-10/100, ImageNet, and four more other datasets.

研究の動機と目的

• ハイパーパramータ探索とアーキテクチャ探索の両方を別々に処理する従来の手法の非効率性と一般性の欠如を解消すること。
• ハイパーパラメータとアーキテクチャ探索を統合的に、効率的かつスケーラブルなフレームワークとして統合すること。
• 探索中にメモリおよび計算コストを低減しながらも、高い精度向上を維持すること。
• 一度の探索プロセスで最適なハイパーパラメータ（例：学習率、ドロップアウト、mixup）とアーキテクチャを自動で発見できること。
• アーキテクチャ探索にとどまらず、ハイパーパラメータ探索に対しても重み共有を拡張することで、収束を早め、より良い初期化を可能とすること。

提案手法

• AutoHAS は、すべてのアーキテクチャおよびハイパーパラメータ設定に共通の重みを持つスーパーモデルを用い、再訓練を伴わずに効率的な学習を可能にする。
• 強化学習のコントローラーが、アーキテクチャおよびハイパーパラメータの候補をサンプリングし、選択確率分布はポリシー最適化により学習される。
• 特定のハイパーパラメータ設定下でのモデル状態を一時的重みとして保存することで、検証精度を報酬信号として利用可能にする。
• 連続的ハイパーパラメータ（例：学習率）は、カテゴリカル基底ベクトルの線形結合に離散化され、カテゴリカル変数と連続的変数の両方を統一した探索空間に統合する。
• コントローラーは REINFORCE アルゴリズムにより最適化され、各ステップでスーパーモデルの部分集合のみを訓練することで、微分可能探索に比べて高いメモリコストを回避する。
• 重み共有はアーキテクチャ空間だけでなくハイパーパラメータ空間にも拡張され、共有重みがすべての後続探索ステップの強力な初期化として機能する。

実験結果

リサーチクエスチョン

• RQ1 単一の統合フレームワークが、ニューラルアーキテクチャとハイパーパラメータの両方を効率的に探索できるか。
• RQ2 アーキテクチャ探索またはハイパーパラメータ探索のいずれかのみを処理する従来の手法と比較して、AutoHAS は効率性と精度で優れているか。
• RQ3 AutoHAS は、手動で調整が難しいドロップコネクト比などの有益なハイパーパラメータ設定を発見できるか。
• RQ4 アーキテクチャ空間とハイパーパラメータ空間の両方にわたる重み共有の統合により、より良い一般化性とスケーラビリティが得られるか。
• RQ5 EfficientNet-B0 などの大規模モデルにおいて、REINFORCEに基づく探索のメモリ効率は、微分可能探索と比較してどうか。

主な発見

• AutoHAS は、EfficientNet-B0 ベースラインに対して、アーキテクチャとハイパーパラメータの共同探索により、ImageNet のトップ-1精度を 0.8% 向上させた。
• 未最適化の Oxford-Flowers データセットでは、AutoHAS がベースラインモデルに対して 11.4% の精度向上を達成した。
• Places365 では、EfficientNet-B0 の精度を 1% 向上させ、シングルクロップ評価で新たな最先端の結果を達成した。
• AutoHAS は、微分可能探索手法と比較して、メモリコストを 70% 削減し、ResNet-50 や EfficientNet-B0 などの大規模モデルでもスケーラブルな探索を可能にした。
• AutoHAS は、EfficientNet-B0 の複数の層において、手動で調整が難しい非一様で層固有の最適ドロップコネクト比を発見したことが可視化で確認された。
• AutoHAS は、微分可能探索と同等の精度向上を達成したが、顕著に低いメモリ使用量を実現しており、より大きなモデルや広範な探索空間に対しても実用的である。