[論文レビュー] Parallel Architecture and Hyperparameter Search via Successive Halving and Classification

M. N. Anil Kumar, George E. Dahl+2 more|arXiv (Cornell University)|May 25, 2018

Machine Learning and Data Classification参考文献 39被引用数 15

ひとこと要約

本稿では、逐次的な二値分類器のスタックを用いて探索空間の生産性の低い領域を繰り返し削除する、シンプルで効果的な並列ブラックボックス最適化アルゴリズムであるSHACを提案する。SHACは、2倍の予算を用いたランダムサーチ（RS-2X）を上回り、NAS-PPOなどの競合するベースラインと同等の性能を示す。また、ハイパーパrameterチューニングを必要とせず、候補解の多様性を維持している。

ABSTRACT

We present a simple and powerful algorithm for parallel black box optimization called Successive Halving and Classification (SHAC). The algorithm operates in $K$ stages of parallel function evaluations and trains a cascade of binary classifiers to iteratively cull the undesirable regions of the search space. SHAC is easy to implement, requires no tuning of its own configuration parameters, is invariant to the scale of the objective function and can be built using any choice of binary classifier. We adopt tree-based classifiers within SHAC and achieve competitive performance against several strong baselines for optimizing synthetic functions, hyperparameters and architectures.

研究の動機と目的

• ハイパーパrameterチューニングを必要とせず、高次元探索空間にスケーリング可能な、強力で並列処理可能なブラックボックス最適化アルゴリズムの開発。
• 現在の強力なベースラインであるランダムサーチを改善するため、性能が低い探索領域を体系的に削除しつつ、候補解の多様性を保つこと。
• 実世界の機械学習応用における、効率的で実用的なニューラルアーキテクチャおよびハイパーパrameter探索を可能にすること。
• 将来の自動機械学習およびニューラルアーキテクチャ探索分野における研究のためのシンプルで再利用可能なベースラインを提供すること。

提案手法

• SHACはK段階で構成され、各段階で二値分類器を用いて性能の悪い半数の候補点をフィルタリングする。
• アルゴリズムはK個の二値分類器のスタックを維持しており、各分類器は直前の段階の結果に基づいて訓練され、探索空間を元の1/2^Kに段階的に狭める。
• 最終段階の分類器の後、残存する候補点は生存領域から拒否サンプリングによって選択され、多様性が保証される。
• この手法は目的関数のスケールに不変であり、任意の二値分類器と組み合わせ可能であり、シンプルさと一貫性を考慮して勾配ブースティング木が推奨される。
• 各段階で候補点を並列評価でき、計算リソースの効率的利用が可能である。
• ブラックボックス最適化を回帰ではなく分類問題として扱い、高性能と低性能の領域を区別することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 シンプルでチューニング不要なアルゴリズムが、ハイパーパrameterおよびアーキテクチャ探索においてランダムサーチや既存のNAS手法を上回ることができるか？
• RQ2 繰り返しのプルーニングにもかかわらず、SHACはどのように候補解の多様性を維持しているか？
• RQ3 SHACの性能は、探索空間のサイズや目的関数の種類に応じてどの程度スケーリングするか？
• RQ4 プロキシ目的関数（例：初期訓練精度）が最終目的関数と弱く相関している場合、SHACの有効性はどの程度か？
• RQ5 SHACは自動機械学習研究における実用的で頑健なベースラインとして機能できるか？

主な発見

• ハイパーパramータチューニングにおいて、CIFAR-10およびCIFAR-100の両方でRS-2X（2倍の予算を用いたランダムサーチ）を顕著に上回り、より高いバリデーション精度を達成した。
• アーキテクチャ探索において、NAS-PPOと同等の性能を示し、RS-2Xを上回り、異なるデータセット間で優れた一般化性能を示した。
• CIFAR-10では、300エポック後にSHACが95.91%のテスト精度を達成したのに対し、NAS-PPOは95.87%、RSは95.67%であった。
• CIFAR-100では、SHACが79.80%のテスト精度を達成したが、NAS-PPO（79.93%）とRS（79.59%）を上回った。
• ペアワイズハミング距離のヒストограмムから、SHACとランダムサーチはNAS-PPOよりも多様性の高い短縮リストを生成しており、ピークが右に10単位シフトしていることがわかった。
• 初期（プロキシ）と最終（実際の）指標の間の相関が弱くても、SHACは強力な性能を維持しており、ノイズが多いか不正確なプロキシ目的関数に対しても頑健であることが示された。