[論文レビュー] GACNN: Training Deep Convolutional Neural Networks with Genetic Algorithm

Parsa Esfahanian, Mohammad Akhavan|arXiv (Cornell University)|Sep 29, 2019

Neural Networks and Applications被引用数 10

ひとこと要約

本稿では、遺伝的アルゴリズム（GAs）を用いた深層畳み込みニューラルネットワーク（CNNs）のトレーニングのための新規手法GACNNを提案する。アコーディオンクロモソーム符号化を導入することで、クロモソームのサイズを著しく削減し、効率性を向上させる。ステディステート、世代交代、エリート主義の3つのGAスキームを評価し、特にCIFAR-10のような複雑なタスクにおいて、初期トレーニング段階でAdamベースのバックプロパゲーションよりも収束が速く、精度が高くなることが示された。

ABSTRACT

Convolutional Neural Networks (CNNs) have gained a significant attraction in the recent years due to their increasing real-world applications. Their performance is highly dependent to the network structure and the selected optimization method for tuning the network parameters. In this paper, we propose novel yet efficient methods for training convolutional neural networks. The most of current state of the art learning method for CNNs are based on Gradient decent. In contrary to the traditional CNN training methods, we propose to optimize the CNNs using methods based on Genetic Algorithms (GAs). These methods are carried out using three individual GA schemes, Steady-State, Generational, and Elitism. We present new genetic operators for crossover, mutation and also an innovative encoding paradigm of CNNs to chromosomes aiming to reduce the resulting chromosome's size by a large factor. We compare the effectiveness and scalability of our encoding with the traditional encoding. Furthermore, the performance of individual GA schemes used for training the networks were compared with each other in means of convergence rate and overall accuracy. Finally, our new encoding alongside the superior GA-based training scheme is compared to Backpropagation training with Adam optimization.

研究の動機と目的

• 複雑なCNNタスクにおける初期段階での、Adamオプティマイザーを用いた従来のバックプロパゲーションの非効率性を是正すること。
• 大規模なネットワークでは実行不可能になる、従来のネットワークからクロモソームへの符号化の限界を克服すること。
• 全層を遺伝子として扱うことで、クロモソームサイズを削減し、GAの効率性を向上させる、新規でコン act なクロモソーム符号化（アコーディオン）を開発すること。
• CNNアーキテクチャ最適化に特化した、新しい遺伝的演算子（交差と変異）の設計と評価。
• 収束速度と最終精度の観点から、ステディステート、世代交代、エリート主義の3つのGAスキームを、CNNトレーニングにおいて比較すること。

提案手法

• 各層（畳み込み層または全結合層）を1つの遺伝子として符号化するアコーディオンクロモソーム符号化を提案。これにより、従来の重みごとの符号化と比較して、クロモソーム長が著しく短縮される。
• 新規な遺伝的演算子を導入：親のクロモソーム間で全層を交換するレイヤー単位の交差と、層固有のハイパーパramータ（例：フィルタ数、カーネルサイズ）を変更する変異演算子。
• 3つの異なるGAトレーニングスキームを採用：ステディステート（1人ずつ個体を置き換え）、世代交代（全人口を置き換え）、エリート主義（各世代で最良個体を保持）。
• MNISTおよびCIFAR-10データセット上で2つの深層CNNアーキテクチャにGAベースのトレーニングを適用。適応度は検証精度で定義。
• GAベースのトレーニングを、Adamオプティマイザーを用いた標準的なバックプロパゲーションと比較。収束速度と最終精度を評価。
• 各世代ごとに検証データ上でネットワークの性能を測定する適応度評価メカニズムを導入し、進化的選択を支援。

実験結果

リサーチクエスチョン

• RQ1 新規なクロモソーム符号化戦略は、CNNの表現サイズを著しく縮小し、スケーラビリティとパフォーマンスを向上させることができるか？
• RQ2 ステディステート、世代交代、エリート主義の3つのGAスキームは、深層CNNのトレーニングにおいて、収束速度と最終精度の観点でどのように比較できるか？
• RQ3 提案された符号化と演算子を用いたGAベースのトレーニングは、特に複雑なデータセットにおいて、標準的なAdamベースのバックプロパゲーションを上回る性能を示せるか？
• RQ4 アコーディオン符号化は、CNNアーキテクチャ最適化における遺伝的演算子の効率性と有効性をどの程度向上させるか？
• RQ5 エリート主義スキームは、世代交代GAの探索力とステディステートGAの安定性を組み合わせ、優れたトレーニング結果を達成できるか？

主な発見

• アコーディオン符号化は、従来の重みごとの符号化と比較して、クロモソームサイズを大幅に削減し、GAの処理を高速化し、より効果的な進化を可能にする。
• エリート主義GAスキームが、収束速度と高い精度の両立を達成し、ステディステートおよび世代交代スキームを上回る安定性と最終的パフォーマンスを示した。
• アコーディオン符号化とエリート主義スキームを用いたGAトレーニングは、特に複雑なCIFAR-10データセットにおいて、初期段階でAdamベースのバックプロパゲーションよりも高い検証精度に早く到達した。
• MNISTデータセットでは、GAトレーニングがAdamより低い精度にとどまるが、初期世代でより速く探索を進めることを示しており、初期段階の探索速度の向上が確認された。
• CIFAR-10では、GAベースのアプローチが最終的にAdamを上回る精度に達し、高次元で複雑な問題において、より効果的に解領域をスケーリングできることを示した。
• 世代交代スキームは初期段階で最も速い収束を示したが、振動を伴い、長期的には高い精度を維持できなかった。一方、ステディステートスキームはゆっくりだが安定して収束した。