[論文レビュー] NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search

Wei Chen, Chuang Niu+4 more|arXiv (Cornell University)|Mar 28, 2020

Neural Networks and Applications被引用数 16

ひとこと要約

NPENASは、ニューラル予測子を用いた進化的アルゴリズムを提案し、神経アーキテクチャ探索（NAS）における探索を向上させる。2つのグラフベースのニューラル予測子（1つはベイズ最適化用、1つは直接的な性能予測用）を用いる。NASBench-201では2.64%の誤差で最先端の精度を達成し、NASBench-101およびDARTSでも、効率的なアーキテクチャサンプリングとサーヴィレートモデリングにより、計算コストを削減しながら既存手法を上回る性能を発揮する。

ABSTRACT

Neural architecture search (NAS) is a promising method for automatically design neural architectures. NAS adopts a search strategy to explore the predefined search space to find outstanding performance architecture with the minimum searching costs. Bayesian optimization and evolutionary algorithms are two commonly used search strategies, but they suffer from computationally expensive, challenge to implement or inefficient exploration ability. In this paper, we propose a neural predictor guided evolutionary algorithm to enhance the exploration ability of EA for NAS (NPENAS) and design two kinds of neural predictors. The first predictor is defined from Bayesian optimization and we propose a graph-based uncertainty estimation network as a surrogate model that is easy to implement and computationally efficient. The second predictor is a graph-based neural network that directly outputs the performance prediction of the input neural architecture. The NPENAS using the two neural predictors are denoted as NPENAS-BO and NPENAS-NP respectively. In addition, we introduce a new random architecture sampling method to overcome the drawbacks of the existing sampling method. Extensive experiments demonstrate the superiority of NPENAS. Quantitative results on three NAS search spaces indicate that both NPENAS-BO and NPENAS-NP outperform most existing NAS algorithms, with NPENAS-BO achieving state-of-the-art performance on NASBench-201 and NPENAS-NP on NASBench-101 and DARTS, respectively.

研究の動機と目的

• 既存のベイズ最適化および進化的アルゴリズムに基づくNAS手法における高い計算コストと限られた探索効率の問題を解決すること。
• ニューラル予測子を性能のサーヴィレートとして統合することで、進化的アルゴリズムの探索能力を向上させること。
• ガウス過程やアンサンブルモデルの制限を克服し、計算的に効率的でエンドツーエンドで訓練可能なベイズ最適化用のサーヴィレートモデルを設計すること。
• 探索効率と安定性を向上させる、新しいランダムアーキテクチャサンプリング手法を導入すること。
• NASBench-101、NASBench-201、DARTSを含む複数のNASベンチマークにおいて、提案手法の有効性とロバスト性を検証すること。

提案手法

• 計算コストの高い訓練評価に依存しないように、ニューラル予測子でガイドされた進化的アルゴリズムであるNPENASを提案し、探索性を向上させる。
• ベイズ最適化のためのサーヴィレートモデルとして、不確実性推定ネットワークをグラフベースに設計し、獲得関数の順位付けに用いる平均値と標準偏差を出力する。
• アーキテクチャの埋め込みから直接性能を予測するグラフベースのニューラル予測子を設計し、後継の順位付けを高速化する。
• 多様性を向上させ、候補生成における冗長性を低減する、新しいアーキテクチャサンプリング戦略を採用する。
• 活性化関数とバッチ正則化を組み合わせたグラフ同型性ネットワーク（GIN）を用い、ニューラルアーキテクチャを学習可能な表現に符号化する。
• グローバルマックスプーリングと全結合層を用いてグラフリーディングを行い、最終的な予測値または不確実性推定値を生成する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル予測子は、ニューラルアーキテクチャ探索における進化的アルゴリズムの探索効率を向上させることができるか？
• RQ2 グラフベースのサーヴィレートモデルは、ガウス過程などの従来のモデルと比較して、精度と効率の面で優れているか？
• RQ3 直接的な性能予測モデルは、獲得関数に基づく手法を上回る性能を発揮するか？
• RQ4 新しいサンプリング戦略は、冗長性を低減し、NASにおける探索の安定性を向上させることができるか？
• RQ5 NPENASは、複数のベンチマークにおいて、最先端のNAS手法と比較して、精度と探索コストの両面で優れているか？

主な発見

• NPENAS-BOはNASBench-201で2.64% ± 0.08のトップ1誤差率を達成し、新たな最先端性能を樹立した。
• NPENAS-NPはNASBench-101で2.54% ± 0.10のトップ1誤差率を達成し、このベンチマークで既存手法を上回った。
• DARTSの探索空間において、NPENAS-NPは100回の探索エポックでトップ1誤差率2.44%を達成し、優れた一般化性能と効率性を示した。
• NPENAS-BOおよびNPENAS-NPは、繰り返し実験において高い安定性を示し、異なるランダムシードやGPU環境でも一貫した性能を発揮した。
• 提案されたサンプリング手法は、探索効率を向上させ、アーキテクチャ選択の分散を低減し、より信頼性の高い収束に寄与した。
• グラフベースのニューラル予測子は、アーキテクチャの意味的特徴を効果的に捉え、最小限の計算コストで正確な性能予測を可能にした。