[論文レビュー] Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search

Haoyu Zhang, Yaochu Jin+2 more|arXiv (Cornell University)|Mar 7, 2020

Metaheuristic Optimization Algorithms Research参考文献 60被引用数 10

ひとこと要約

本稿では、親個体のサンプリング学習と子個体のノード継承を用いた高速な進化的ニューラルアーキテクチャ探索（ENAS）フレームワークを提案する。親個体をミニバッチで学習し、子個体を再訓練せずにノードを継承することで、訓練コストを著しく削減しながら高い性能を維持する。CIFAR-10では95.93%、CIFAR-100では81.36%の精度を達成し、従来のENAS手法と比較して顕著に低い計算コストを実現した。

ABSTRACT

The performance of a deep neural network is heavily dependent on its architecture and various neural architecture search strategies have been developed for automated network architecture design. Recently, evolutionary neural architecture search (ENAS) has received increasing attention due to the attractive global optimization capability of evolutionary algorithms. However, ENAS suffers from extremely high computation costs because a large number of performance evaluations is usually required in evolutionary optimization and training deep neural networks is itself computationally very intensive. To address this issue, this paper proposes a new evolutionary framework for fast ENAS based on directed acyclic graph, in which parents are randomly sampled and trained on each mini-batch of training data. In addition, a node inheritance strategy is adopted to generate offspring individuals and their fitness is directly evaluated without training. To enhance the feature processing capability of the evolved neural networks, we also encode a channel attention mechanism in the search space. We evaluate the proposed algorithm on the widely used datasets, in comparison with 26 state-of-the-art peer algorithms. Our experimental results show the proposed algorithm is not only computationally much more efficiently, but also highly competitive in learning performance.

研究の動機と目的

• 進化的ニューラルアーキテクチャ探索（ENAS）における高い計算コストを軽減すること。ENASは、適応度評価のための深層ネットワークの広範な訓練を必要とする。
• 適応度評価に必要な時間とリソースを削減すること。これにより、探索性能を損なわず、効率を向上させる。
• 子個体の再訓練を避けて重みを再利用することで、進化的探索の効率を向上させること。
• 探索空間にチャネルアテンションメカニズムを統合することで、進化したアーキテクチャの特徴表現を強化すること。
• CIFAR-10、CIFAR-100、SVHNなどの異なるデータセット間での進化アーキテクチャの転送可能性を評価すること。

提案手法

• 親個体はランダムにサンプリングされ、データのミニバッチで学習される。これにより、フルバッチ学習と比較して、1回の評価コストが低減される。
• 子個体はノード継承により生成され、再訓練を経ずに親から構造的要素を継承する。
• 子個体の適応度評価は、継承された重みを直接使用することで実施され、フルトレーニングの必要がなくなる。
• 探索空間は、マルチスケール畳み込みやチャネルアテンションを含むカスタマイズ可能な演算を備えた有向無閉路グラフ（DAG）でモデル化される。
• 探索空間にチャネルアテンションメカニズムを統合することで、特徴表現とモデルの表現力が向上する。
• サーモグラフフリーなアプローチを採用し、他のENAS手法で一般的な高コストなサーモグラフモデルの学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 親個体のサンプリング学習が、性能を劣化させることなく、ENASにおける適応度評価の計算コストを顕著に低減できるか？
• RQ2 ノード継承により、フル再訓練を経ずに子個体の適応度を正確に推定でき、進化的プロセスの高速化が可能か？
• RQ3 探索空間にチャネルアテンションメカニズムを統合することで、進化したニューラルアーキテクチャの性能が向上するか？
• RQ4 CIFAR-10のような小さなデータセットで最適化されたニューラルアーキテクチャが、CIFAR-100 や SVHN といったより大きなデータセットにどの程度効果的に転送可能か？
• RQ5 標準ベンチマークにおいて、提案されたSI-ENASフレームワークは、最先端のENAS手法と比較して、効率性と精度の両面で優れているか？

主な発見

• 提案されたSI-ENASフレームワークは、CIFAR-10で95.93%、CIFAR-100で81.36%のテスト精度を達成し、パラメータ共有を用いたベースラインSI-ENAS（94.82%および79.59%）を上回った。
• ノード継承により計算コストが顕著に削減された。子個体はフルトレーニングを経ずに評価されたが、パラメータ共有では適応度推定誤差が高くなる傾向にあった。
• AE-CNNと比較して、CIFAR-10では214%、CIFAR-100では230%のGPU日数削減が報告された。
• CIFAR-10で最良の個体がSVHNで98.31%、CIFAR-100で80.13%の精度を達成し、優れた転送性を示した。
• フレームワークは高いスケーラビリティと効率性を示し、計算リソースが限られたデバイスへの導入にも適している。