[論文レビュー] Evolving Deep Convolutional Neural Networks for Image Classification

Yanan Sun, Bing Xue+2 more|arXiv (Cornell University)|Oct 30, 2017

Metaheuristic Optimization Algorithms Research参考文献 60被引用数 82

ひとこと要約

本論文は EvoCNN を提案する。CNN アーキテクチャと重み初期化を自動的に進化させる遺伝アルゴリズムベースの手法で、画像分類のため、可変長エンコードと効率的な適応度評価を特徴とする。

ABSTRACT

Evolutionary computation methods have been successfully applied to neural networks since two decades ago, while those methods cannot scale well to the modern deep neural networks due to the complicated architectures and large quantities of connection weights. In this paper, we propose a new method using genetic algorithms for evolving the architectures and connection weight initialization values of a deep convolutional neural network to address image classification problems. In the proposed algorithm, an efficient variable-length gene encoding strategy is designed to represent the different building blocks and the unpredictable optimal depth in convolutional neural networks. In addition, a new representation scheme is developed for effectively initializing connection weights of deep convolutional neural networks, which is expected to avoid networks getting stuck into local minima which is typically a major issue in the backward gradient-based optimization. Furthermore, a novel fitness evaluation method is proposed to speed up the heuristic search with substantially less computational resource. The proposed algorithm is examined and compared with 22 existing algorithms on nine widely used image classification tasks, including the state-of-the-art methods. The experimental results demonstrate the remarkable superiority of the proposed algorithm over the state-of-the-art algorithms in terms of classification error rate and the number of parameters (weights).

研究の動機と目的

• 手動調整を超えて拡張するCNNのアーキテクチャ設計と重み初期化の必要性を動機づける。
• CNN ブロックと深さを表す柔軟な可変長遺伝子エンコードを提案する。
• 深層CNNのための効率的なGAベースの適応度評価と重み初期化スキームを開発する。
• 高い精度を維持しつつパラメータ数を抑えたCNNアーキテクチャの自動発見を実現する。

提案手法

• 畳み込み層、プーリング層、全結合層を表す可変長遺伝子エンコード戦略を導入する。
• 潜在的に何百万ものパラメータを初期化するため、重みの統計量を二つ（平均と標準偏差）のみをエンコードする。
• 平均性能とモデルサイズのバランスを取るために、親選択に Slack Binary Tournament を用いる。
• Unit Alignment クロスオーバーを設計し、同じユニットブロックを交換することで可変長染色体を扱う。
• 各アーキテクチャを少数エポックで訓練し、精度の平均値と分散、およびパラメータ数を適応度として用いる、効率的な適応度評価を採用する。
• 環境選択を適用して世代を超えてエリート性と多様性を維持する。

実験結果

リサーチクエスチョン

• RQ1 EvoCNN は manual intervention なしで画像分類の効果的な CNN アーキテクチャを自動的に発見できるか？
• RQ2 アーキテクチャと重み初期化の両方を進化させることで、最先端の手法と比較してより少ないパラメータで高い精度を達成できるか？
• RQ3 提案された適応度評価は、限られた計算資源の下で探索を導くうえでどれほど有効か？
• RQ4 Unit Alignment クロスオーバーは、ユニットの完全性を保ちながら可変長のアーキテクチャを efficiently recombine するか？
• RQ5 EvoCNN で CNN を進化させる際、モデルサイズと精度の間にどのようなトレードオフが現れるか？

主な発見

• EvoCNN は分類誤差率とパラメータ数の点で最先端手法より優れた性能を示す。
• 本手法は事前に定義された最大深度を持たず、深さやビルディングブロックを変化させながら CNN アーキテクチャを進化させる。
• 重みの初期化は平均と標準偏差で表現され、大規模ネットワークの初期重みの効率的なサンプリングを可能にする。
• Slack Binary Tournament と Unit Alignment クロスオーバーは、可変長・複数ブロックの CNN 染色体上で効果的な GA 探索を可能にする。
• 適応度評価は早期エポックの訓練と統計量を用いて性能を近似し、探索を導く一方で計算要件を削減する。
• 多くの既存手法と比較して、EvoCNNは精度とウェイト数の間で有利なトレードオフを実現する。