[論文レビュー] Genetic CNN

Lingxi Xie, Alan Yuille|arXiv (Cornell University)|Mar 4, 2017

Bioinformatics and Genomic Networks被引用数 11

ひとこと要約

この論文では、遺伝的アルゴリズムを用いて高パフォーマンスなディープ畳み込みニューラルネットワークアーキテクチャを自動的に探索する、Genetic CNNという手法を提案している。ネットワーク構造を固定長のバイナリ文字列として符号化し、選択、突然変異、交差操作を適用することで、MNIST や CIFAR10 といった小規模データセット上でアーキテクチャを進化させる。その後、ILSVRC2012 に転移させたところ、優れた精度を達成した。例えば、GeNet #2 は、深さが類似する VGGNet-16 よりも優れた性能を示し、トップ-1誤差27.87%を達成した。

ABSTRACT

The deep Convolutional Neural Network (CNN) is the state-of-the-art solution for large-scale visual recognition. Following basic principles such as increasing the depth and constructing highway connections, researchers have manually designed a lot of fixed network structures and verified their effectiveness. In this paper, we discuss the possibility of learning deep network structures automatically. Note that the number of possible network structures increases exponentially with the number of layers in the network, which inspires us to adopt the genetic algorithm to efficiently traverse this large search space. We first propose an encoding method to represent each network structure in a fixed-length binary string, and initialize the genetic algorithm by generating a set of randomized individuals. In each generation, we define standard genetic operations, e.g., selection, mutation and crossover, to eliminate weak individuals and then generate more competitive ones. The competitiveness of each individual is defined as its recognition accuracy, which is obtained via training the network from scratch and evaluating it on a validation set. We run the genetic process on two small datasets, i.e., MNIST and CIFAR10, demonstrating its ability to evolve and find high-quality structures which are little studied before. These structures are also transferrable to the large-scale ILSVRC2012 dataset.

研究の動機と目的

• 手作業による設計を超えたディープニューラルネットワークアーキテクチャの自動設計を探索すること。
• 深さに伴い指数関数的に増加する可能性のあるネットワーク構造の空間を、スケーラブルな探索手法で扱うこと。
• 小規模データセットで進化させたアーキテクチャが、大規模な視覚認識タスクに一般化できるかどうかを評価すること。
• 遺伝的アルゴリズムが、文献でこれまでに検討されていなかった非標準的で高パフォーマンスなアーキテクチャを発見できることを示すこと。

提案手法

• 遺伝的演算を可能にするために、各ニューラルネットワークアーキテクチャを固定長のバイナリ文字列として符号化すること。
• 遺伝的アルゴリズム用のランダムなネットワーク構造（個体）の集団を初期化すること。
• 選択、交差、突然変異といった標準的な遺伝的演算を用いて、世代を経て集団を進化させること。
• 参照データセット（MNIST または CIFAR10）上で全訓練と検証を実行し、各個体の適応度を評価すること。
• 検証セットでの認識精度を適応度関数として用い、進化をガイドすること。
• 最良のパフォーマンスを示した進化済みアーキテクチャを、大規模な ILSVRC2012 に転移して評価すること。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、膨大な数の可能なディープCNNアーキテクチャの空間を効果的に探索できるか？
• RQ2 CIFAR10 などの小規模データセットで進化させたアーキテクチャは、ILSVRC2012 などの大規模認識タスクに一般化できるか？
• RQ3 遺伝的アルゴリズムは、従来の手作業で設計されたモデルよりも優れた、新しい高パフォーマンスなアーキテクチャを発見できるか？
• RQ4 VGGNet や ResNet、GoogLeNet といった最先端モデルと比較して、進化させたアーキテクチャは、精度および構造の面でどのように異なるか？

主な発見

• 遺伝的アルゴリズムは、MNIST や CIFAR10 で新しいネットワークアーキテクチャを効果的に進化させ、一部のケースで標準モデルを上回る低い誤差率を達成した。
• GeNet #2 は、ILSVRC2012 でトップ-1誤差率27.87%を達成し、深さが類似する VGGNet-16（28.5%）を上回った。
• 特に GeNet #1 と #2 は、小規模データセットから大規模データセットへの強い転移性を示した。
• 遺伝的プロセスで得られた最良のアーキテクチャは、文献でこれまでに検討されていなかったものであり、競争力のあるパフォーマンスを示した。
• 異なる初期化戦略に対しても、この手法は頑健であり、遺伝的プロセスの収束が安定していることを示した。
• 計算コストは高いが、人為的に設計されたアーキテクチャ的バイアスに依存せずに、高品質な構造を効果的に発見できた。