[論文レビュー] An Aggressive Genetic Programming Approach for Searching Neural Network Structure Under Computational Constraints

Zhe Li, Xuehan Xiong+4 more|arXiv (Cornell University)|Jun 3, 2018

Evolutionary Algorithms and Applications参考文献 25被引用数 3

ひとこと要約

この論文は、厳密な計算制約下で最適な畳み込みニューラルネットワーク（CNN）アーキテクチャを効率的に探索する、AG-Evolutionと呼ばれる攻撃的な遺伝的プログラミング手法を提案する。弱い個体を積極的に pruning し、突然変異の頻度を高めて多様性を維持することで、MNIST、SVHN、CIFAR-10、CIFAR-100 で最先端の精度を達成した。GPU時間は著しく削減された。これは、人為的な帰納的バイアスや膨大な計算資源を必要とせずに、高性能なモデルを発見可能であることを示している。

ABSTRACT

Recently, there emerged revived interests of designing automatic programs (e.g., using genetic/evolutionary algorithms) to optimize the structure of Convolutional Neural Networks (CNNs) for a specific task. The challenge in designing such programs lies in how to balance between large search space of the network structures and high computational costs. Existing works either impose strong restrictions on the search space or use enormous computing resources. In this paper, we study how to design a genetic programming approach for optimizing the structure of a CNN for a given task under limited computational resources yet without imposing strong restrictions on the search space. To reduce the computational costs, we propose two general strategies that are observed to be helpful: (i) aggressively selecting strongest individuals for survival and reproduction, and killing weaker individuals at a very early age; (ii) increasing mutation frequency to encourage diversity and faster evolution. The combined strategy with additional optimization techniques allows us to explore a large search space but with affordable computational costs. Our results on standard benchmark datasets (MNIST, SVHN, CIFAR-10, CIFAR-100) are competitive to similar approaches with significantly reduced computational costs.

研究の動機と目的

• 探索空間に強い構造的制約を課さずに、高性能なCNNアーキテクチャを発見できる遺伝的プログラミング手法の開発。
• 特に限られたハードウェア環境にあるユーザーを想定し、ニューラルアーキテクチャ探索（NAS）における探索空間の大きさと計算コストのトレードオフを解決すること。
• 実用的な計算予算下で、効率的かつ効果的な、人間による干渉なしの自動的で人間フリーなニューラルアーキテクチャ発見を可能にすること。
• 攻撃的な選択と強化された突然変異が、計算リソースが限られた環境下でも多様性を維持しながら、進化的NASにおける訓練時間を著しく短縮できるかを検証すること。
• 標準ベンチマーク（MNIST、SVHN、CIFAR-10、CIFAR-100）上で本手法を検証し、精度と効率の観点から先行する最先端手法と比較すること。

提案手法

• 適応度の高い個体のみを次世代の繁殖対象として選択する攻撃的な選択戦略を採用し、初期段階で弱い個体を破棄することで無駄な計算を削減する。
• 最も適応度の高い個体のクローンに対して、複数の異なる突然変異を適用することで、個体群の多様性が低下するのを補うために突然変異の頻度と多様性を高める。
• 畳み込み、プーリング、スキップ接続などの基本的な演算をセットとして定義し、複雑なマルチパスアーキテクチャを可能にする柔軟な探索空間を構築する。
• 固定された世代数を設定し、性能が著しく低い個体に対しては早期停止を適用することで、進化的プロセスを加速する。
• 訓練時間の短縮を図るために、早期停止やモデル圧縮などの追加の最適化技術を適用する。
• 人間による調整やレイヤーの追加、構造的変更なしに、エンドツーエンドでネットワークを進化させる—完全に自動化された、人間による干渉なしのアプローチ。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミングにおける攻撃的な選択は、ニューラルアーキテクチャ探索において、探索の質を損なわせることなく計算コストを削減できるか？
• RQ2 計算リソースが限られた環境下で、突然変異頻度を高めることで、個体群の多様性が低下するのを補えるか？
• RQ3 完全に自動的で人間フリーな遺伝的アルゴリズムは、最小限のGPU使用量で、標準ベンチマーク上で競争力のあるCNNアーキテクチャを発見できるか？
• RQ4 本手法の性能は、精度と計算効率の観点から、先行する最先端NAS手法と比較してどうか？
• RQ5 人為的なバイアスなしに進化的プロセスからどのようなアーキテクチャ的パターン（例：スキップ接続、マルチパス設計）が出現するか？

主な発見

• AG-EvolutionはMNISTで0.9969のテスト精度を達成し、48 GPU時間で達成されたGenetic-CNNの最先端結果と同等の性能を、わずか35 GPU時間で達成した。
• CIFAR-10では72 GPU時間で90.52%のテスト精度を達成し、Genetic-CNN（408 GPU時間で77.06%）を上回り、LS-Evolutionの91.80%に近い精度を、コストの僅か数分の1で達成した。
• SVHNでは60 GPU時間で95.41%の精度を達成し、NA-Evolution（552 GPU時間で96.20%）を上回り、計算コストを著しく削減した。
• CIFAR-100では184 GPU時間で68.04%の精度を達成し、NA-Evolution（552 GPU時間で65.60%）を上回り、データセット全体にわたるスケーラビリティを示した。
• CIFAR-10およびCIFAR-100で発見されたアーキテクチャは、スキップ接続を含むマルチパス構造を特徴としており、Inception や ResNet の設計に類似していた—進化が有効なアーキテクチャ的パターンを再発見できることを示唆している。
• 進化の過程では、全データセットで世代を経るごとに一貫した性能向上が観察され、テスト精度が着実に上昇した。これは、攻撃的な選択と突然変異戦略の有効性を裏付けている。