[論文レビュー] GP-CNAS: Convolutional Neural Network Architecture Search with Genetic Programming

Yiheng Zhu, Yichen Yao+5 more|arXiv (Cornell University)|Nov 26, 2018

Evolutionary Algorithms and Applications参考文献 3被引用数 7

ひとこと要約

本稿では、自動畳み込みニューラルネットワークアーキテクチャ探索のための遺伝的プログラミングフレームワークであるGP-CNASを提案する。CNNは、残差ブロックを端末ノードとし、構成操作を関数とする木構造として表現され、探索と活用のバランスを取る動的クロスオーバー演算子を用いる。これにより、限られた探索試行回数で高い性能を示すバランスの取れたアーキテクチャを効率的に発見する。CIFAR-10で競争力ある精度を達成した。

ABSTRACT

Convolutional neural networks (CNNs) are effective at solving difficult problems like visual recognition, speech recognition and natural language processing. However, performance gain comes at the cost of laborious trial-and-error in designing deeper CNN architectures. In this paper, a genetic programming (GP) framework for convolutional neural network architecture search, abbreviated as GP-CNAS, is proposed to automatically search for optimal CNN architectures. GP-CNAS encodes CNNs as trees where leaf nodes (GP terminals) are selected residual blocks and non-leaf nodes (GP functions) specify the block assembling procedure. Our tree-based representation enables easy design and flexible implementation of genetic operators. Specifically, we design a dynamic crossover operator that strikes a balance between exploration and exploitation, which emphasizes CNN complexity at early stage and CNN diversity at later stage. Therefore, the desired CNN architecture with balanced depth and width can be found within limited trials. Moreover, our GP-CNAS framework is highly compatible with other manually-designed and NAS-generated block types as well. Experimental results on the CIFAR-10 dataset show that GP-CNAS is competitive among the state-of-the-art automatic and semi-automatic NAS algorithms.

研究の動機と目的

• 深層学習における手動の試行錯誤を減らすために、効果的な畳み込みニューラルネットワークアーキテクチャの自動設計を実現すること。
• CNNアーキテクチャ探索におけるネットワークの深さと幅のバランスを解決すること。
• 手作業で設計されたものとNASによって生成されたものとの両方の残差ブロックと互換性がある柔軟で拡張可能なフレームワークを開発すること。
• 進化の過程で探索と活用のバランスを動的に調整することで、探索効率を向上させること。
• 限られた探索予算でCIFAR-10において最先端の性能を達成すること。

提案手法

• CNNアーキテクチャは、葉ノードが残差ブロックを表し、内部ノードがブロックの構成操作を表す木構造として符号化される。
• 集団の木構造アーキテクチャを進化させるために、遺伝的プログラミングの演算子（選択、クロスオーバー、変異）が適用される。
• 探索の初期段階ではアーキテクチャの複雑さに重点を置き、後期段階では多様性に重点を置くことで、深さと幅のバランスを取る動的クロスオーバー演算子が導入された。
• フレームワークは、手作業で設計されたものやNASによって生成されたものなど、さまざまなブロックタイプとの統合を可能とし、互換性を高めている。
• CIFAR-10データセットにおける訓練および検証精度を用いて、探索のパフォーマンスが評価される。
• フィットネス評価は検証精度に基づき、より優れた性能を示すアーキテクチャへの進化的選択を導く。

実験結果

リサーチクエスチョン

• RQ1 人為的介入をほとんど必要とせずに、遺伝的プログラミングフレームワークが高パフォーマンスなCNNアーキテクチャを効果的に探索できるか。
• RQ2 ニューラルアーキテクチャ探索の過程で、探索と活用をどのように動的にバランスさせるか。これにより収束性とパフォーマンスが向上するか。
• RQ3 このフレームワークは、手作業設計やNASによるものなど、さまざまな種類の残差ブロックにどの程度一般化可能か。
• RQ4 標準ベンチマークにおいて、既存の自動および準自動NAS手法と比較してGP-CNASのパフォーマンスはいかが。
• RQ5 限られた探索試行回数内で、バランスの取れた効率的なアーキテクチャをGP-CNASが発見できるか。

主な発見

• GP-CNASはCIFAR-10で競争力あるテスト精度を達成し、最先端の自動および準自動NAS手法と比較しても優れたパフォーマンスを示した。
• 動的クロスオーバー演算子は、アーキテクチャの複雑さと多様性のバランスをうまく取った。その結果、収束が速く、より優れた最終的なアーキテクチャが得られた。
• フレームワークは、手作業設計やNASによるものなど、さまざまな残差ブロックタイプと高い互換性を示し、柔軟な統合を可能にした。
• 木構造表現により、遺伝的演算子の効率的かつ柔軟な適用が可能となり、探索効率が向上した。
• 限られた試行回数内で、最適な深さと幅のバランスが取れたCNNアーキテクチャが発見され、広範なハイパーパramータチューニングの必要性が低減された。