[論文レビュー] Random Search and Reproducibility for Neural Architecture Search

Liam Li, Ameet Talwalkar|arXiv (Cornell University)|Feb 20, 2019

Machine Learning and Data Classification参考文献 47被引用数 253

ひとこと要約

本論文は、早期停止と重み共有を用いた単純なランダムサーチベースラインがPTBとCIFAR-10上で最先端のNAS手法と競合することを示し、NAS研究の再現性問題を分析するとともに、正確な再現のためのオープンリソースを提供します。

ABSTRACT

Neural architecture search (NAS) is a promising research direction that has the potential to replace expert-designed networks with learned, task-specific architectures. In this work, in order to help ground the empirical results in this field, we propose new NAS baselines that build off the following observations: (i) NAS is a specialized hyperparameter optimization problem; and (ii) random search is a competitive baseline for hyperparameter optimization. Leveraging these observations, we evaluate both random search with early-stopping and a novel random search with weight-sharing algorithm on two standard NAS benchmarks---PTB and CIFAR-10. Our results show that random search with early-stopping is a competitive NAS baseline, e.g., it performs at least as well as ENAS, a leading NAS method, on both benchmarks. Additionally, random search with weight-sharing outperforms random search with early-stopping, achieving a state-of-the-art NAS result on PTB and a highly competitive result on CIFAR-10. Finally, we explore the existing reproducibility issues of published NAS results. We note the lack of source material needed to exactly reproduce these results, and further discuss the robustness of published results given the various sources of variability in NAS experimental setups. Relatedly, we provide all information (code, random seeds, documentation) needed to exactly reproduce our results, and report our random search with weight-sharing results for each benchmark on multiple runs.

研究の動機と目的

• NASで標準ベンチマーク（PTBとCIFAR-10）に対して単純なベースラインをLeading NAS手法と比較して、実証結果を地に落とす。
• ランダムサーチ（早期停止と重み共有あり）が、同等の計算予算内で最先端のNAS性能に匹敵するか、あるいはそれを超えるかを評価する。
• NASの性能に影響を与えるキーとなるメタハイパーパラメータを特定し、シンプルで再現性の高い手法を実証する。
• 結果の正確な再現を可能にするため、コード、シード、ドキュメンテーションをオープンソース化する。再現性の幅を広く検証する。

提案手法

• NASを特殊なハイパーパラメータ最適化問題として位置づけ、単純なベースラインを先行するNAS手法とベンチマークする。
• CIFAR-10とPTBでNASの競合ベースラインとして早期停止（ASHA）を用いたランダムサーチを使用する。
• アーキテクチャ間で共有ウェイトを訓練し、複数のサンプルアーキテクチャを評価する重み共有付きランダムサーチアルゴリズムを開発する。
• 検索品質を向上させるメタハイパーパラメータ（バッチサイズ、エポック数、ネットワークサイズ、評価したアーキテクチャの数、勾配クリッピング）を探索する。
• 正確な再現性を可能にする固定シードとコードを含む厳密な再現実験設定を提供し、結果の幅広い再現性を検証するための繰返し実験を行う。

実験結果

リサーチクエスチョン

• RQ1 同等の計算予算の下で、ランダムサーチに基づく単純なNASベースラインは標準ベンチマーク（PTBとCIFAR-10）上で最先端のNAS手法と比較してどうか。
• RQ2 重み共有を備えたランダムサーチはPTBとCIFAR-10で最先端または競争的な結果を達成できるか、そしてこの性能を支える要素は何か。
• RQ3 ランダムサーチベースのNAS性能に最も影響を与える主要なメタハイパーパラメータは何か。
• RQ4 NASにおける再現性の課題は何か、公開資料と複数回の実行でどのように解決できるか。

主な発見

• 早期停止（ASHA）を用いたランダムサーチはPTBでのテストパープレキシティ56.4を達成し、ENASと同等、他のベースラインよりも優れている。
• 重み共有付きランダムサーチはPTBでテストパープレキシティ55.5を達成し、このベンチマークでNASベースの結果の中で最先端のパープレキシティを達成している。
• CIFAR-10では、重み共有付きランダムサーチはDARTSとSNASと競合し、同様の予算下で最先端の結果に近づく、あるいは匹敵する。
• 本研究は公開されたNAS結果における再現性のギャップ（シード、コード、ドキュメンテーションの欠如）を記録し、正確な再現を可能にするオープンソース資料を提供する。
• 実験は再現性を広く確保するには複数回の実行と頑健な報告・統計が必要であることを示す、run間の非自明な差異を示している。