[論文レビュー] Automatically Evolving CNN Architectures Based on Blocks

Yanan Sun, Bing Xue+2 more|arXiv (Cornell University)|Oct 28, 2018

Advanced Neural Network Applications参考文献 25被引用数 22

ひとこと要約

本稿では、可変長符号化を用いてResNetおよびDenseNetブロックを組み合わせたCNNアーキテクチャを自動で進化させる遺伝的アルゴリズムAE-CNNを提案する。新規のクロスオーバーオペレータおよび変異オペレータにより、局所的および大域的探索を両立可能にし、CIFAR-10およびCIFAR-100で最先端の精度を達成するとともに、類似手法に比べて顕著に低い計算コストを実現した。

ABSTRACT

The performance of Convolutional Neural Networks (CNNs) highly relies on their architectures. In order to design a CNN with promising performance, extended expertise in both CNNs and the investigated problem is required, which is not necessarily held by every user interested in CNNs or the problem domain. In this paper, we propose to automatically evolve CNN architectures by using a genetic algorithm based on ResNet blocks and DenseNet blocks. The proposed algorithm is extbf{completely} automatic in designing CNN architectures, particularly, neither pre-processing before it starts nor post-processing on the designed CNN is needed. Furthermore, the proposed algorithm does not require users with domain knowledge on CNNs, the investigated problem or even genetic algorithms. The proposed algorithm is evaluated on CIFAR10 and CIFAR100 against 18 state-of-the-art peer competitors. Experimental results show that it outperforms state-of-the-art CNNs hand-crafted and CNNs designed by automatic peer competitors in terms of the classification accuracy, and achieves the competitive classification accuracy against semi-automatic peer competitors. In addition, the proposed algorithm consumes much less time than most peer competitors in finding the best CNN architectures.

研究の動機と目的

• CNNの専門知識、問題領域の知識、遺伝的アルゴリズムの知識が一切不要な完全自動のCNNアーキテクチャ探索手法の開発。
• 従来の自動的および準自動的CNNアーキテクチャ探索手法の限界、特に高い計算コストと人為的に設計されたコンponentsへの依存を克服すること。
• 最適なネットワークの深さとブロック構成を適応的に進化可能にする可変長表現を有する遺伝的アルゴリズムの設計。
• ブロックベースのCNNに対して、新規のクロスオーバーオペレータと特化した変異オペレータを用いて、効果的な大域的および局所的探索を可能にすること。
• GPUリソースの消費を最小限に抑える一方で、画像データセットにおける高い分類精度を達成すること。

提案手法

• 本手法は、ResNetおよびDenseNetブロックから構成されるCNNアーキテクチャを表現するための可変長符号化方式を用い、動的かつ柔軟な深さの進化を可能にする。
• 構造的類似性に基づいてブロック列をアラインメントし再結合することで、可変長個体を扱える新規のクロスオーバーオペレータを設計した。
• ブロック挿入、削除、置換、ハイパラメータ変更などの複数の変異オペレータをブロックに適用し、局所的および大域的探索を両立可能にした。
• 事前処理や事後処理を必要とせず、検証精度に基づくフィットネス関数を用いる。
• 世代交代選択に基づく進化を実施し、より優れたアーキテクチャが次世代に継承される。
• 全プロセスが完全に自動化されており、人為的介入やドメイン特化のチューニングが不要である。

実験結果

リサーチクエスチョン

• RQ1 ResNetおよびDenseNetブロックに基づく遺伝的アルゴリズムは、CNN分野の専門知識が一切不要な状態で、高性能なCNNアーキテクチャを自動で進化させることができるか？
• RQ2 新規のクロスオーバーオペレータを備えた可変長符号化は、固定長または非クロスオーバー手法に比べ、探索効率および性能が向上するか？
• RQ3 提案手法の自動CNNアーキテクチャ探索法は、最先端の手作業で設計された手法および自動化手法と比較して、精度および計算コストの面で優れているか？
• RQ4 本手法は、CIFAR-10およびCIFAR-100で競争力あるか、あるいは優れた精度を達成することができるか？ また、既存の自動手法と比較して顕著に少ないGPU日数を消費するか？

主な発見

• AE-CNNはCIFAR-10で4.7%のテスト誤差を達成し、ResNet（深さ=1,202）およびDenseNet（k=12）を含むすべての最先端の手作業で設計されたCNNより0.5%〜4.5%優れた性能を示した。
• CIFAR-100においても、AE-CNNはMaxout、Network in Network、Highway Network、All-CNNを下回り、FractalNetおよびResNet（深さ=101）と同等の性能を示した。
• CIFAR-10およびCIFAR-100において、AE-CNNはHierarchical Evolutionの1/5、Block-QNN-Sの1/3のGPU日数を消費したが、優れた性能を達成した。
• 完全自動手法の中で、AE-CNNはCIFAR-10で4.7%の誤差を達成し、NAS（5.4%誤差）、Large-scale Evolution（5.4%誤差）、MetaQNNを上回る最高の精度を記録した。
• 進化したCNNは3200万パラメータを有し、VGGやFractalNetよりも少なく、ResNet（深さ=1,202）と同等の水準であり、高いパラメータ効率を示した。
• AE-CNNは、人為的専門知識や事前定義されたベースネットワークを必要としない半自動手法EASやBlock-QNN-Sと比較して、競争力ある性能を示した。