[論文レビュー] Towards the Evolution of Multi-Layered Neural Networks: A Dynamic Structured Grammatical Evolution Approach

Filipe Assunção, Nuno Lourenço+2 more|arXiv (Cornell University)|Jun 26, 2017

Evolutionary Algorithms and Applications参考文献 21被引用数 11

ひとこと要約

本稿では、複数の出力ニューロンを備えた多層構造の人工ニューラルネットワーク（ANN）の進化を可能にする、新たなゲノ的表現である動的構造的文法的進化（DSGE）を提案する。従来の文法ベースのアプローチに見られる制限を克服し、ニューロン接続を前の層のサイズに関連付けることで、ネットワークトポロジーを動的に符号化する。これにより、深く複雑なANNの有効な進化が可能となり、複雑なデータセットにおいて単層モデルを上回る性能を発揮する。

ABSTRACT

Current grammar-based NeuroEvolution approaches have several shortcomings. On the one hand, they do not allow the generation of Artificial Neural Networks (ANNs composed of more than one hidden-layer. On the other, there is no way to evolve networks with more than one output neuron. To properly evolve ANNs with more than one hidden-layer and multiple output nodes there is the need to know the number of neurons available in previous layers. In this paper we introduce Dynamic Structured Grammatical Evolution (DSGE): a new genotypic representation that overcomes the aforementioned limitations. By enabling the creation of dynamic rules that specify the connection possibilities of each neuron, the methodology enables the evolution of multi-layered ANNs with more than one output neuron. Results in different classification problems show that DSGE evolves effective single and multi-layered ANNs, with a varying number of output neurons.

研究の動機と目的

• 既存の文法ベースのニューロエボリューション手法が、多層構造のANNや複数出力ニューロンを備えたネットワークの進化をできないという制限を解消すること。
• 事前に定義されたネットワークの深さや層サイズに依存しないようにし、進化中に文脈に応じた柔軟な文法規則を導入すること。
• 進化中のANNの構造的複雑さに適応可能なゲノ的表現を開発し、特に深層アーキテクチャに対して有効にすること。
• 構造的かつ拡張可能な文法フレームワークを用いて、深さと幅が可変で、複数出力ニューロンを有するANNの進化を可能にすること。
• DSGEが、手作業で設計されたネットワークや従来の進化手法を上回る、正確で一般化可能なANNを進化させられることを実証すること。

提案手法

• 構造的文法的進化（SGE）の変更版として、現在のネットワーク構造に応じてゲノムが動的に拡大することができる、動的構造的文法的進化（DSGE）を導入する。
• SGEで用いられる固定サイズの遺伝子リストを、直前の層のニューロン数に基づいて接続可能性を符号化する動的ルールに置き換える。
• 直前の層のニューロン数に依存する層固有の文脈に適応した生成規則を導入し、再帰的かつ階層的なネットワーク構築を可能にする。
• ゲノムを事前に指定された最大深さに束縛しないようにし、各サブツリーの再帰深さを個別に定義することで、全体の深さをグローバルに固定しない。
• 各非終端記号が展開選択肢を表す整数リストに関連付けられる文法ベースのマッピングを用い、モジュラスに基づく重複を回避する。
• 複数出力ニューロンをサポートするように文法を拡張し、ソフトマックスなどの活性化関数を許容することで、多クラス分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 DSGEは、従来の文法ベースのアプローチが1層に制限されているのを克服し、1つ以上の隠れ層を有する多層構造のANNを進化させることができるか？
• RQ2 DSGEは、多クラス分類に必要な複数出力ニューロンを備えたANNの進化を可能にするか？
• RQ3 DSGEで進化されたANNの性能は、標準的なGEやSGEで進化されたものと比較して、一般化性能や正確性の観点で優れているか？
• RQ4 DSGEは、深層アーキテクチャのスケーリングに伴う探索空間の複雑さを、収束性や性能の低下を伴わずに処理できるか？
• RQ5 DSGEは、バックプロパゲーションで微調整された手作業で設計されたネットワークよりも、複雑なデータセットでより優れた一般化性能を示すANNを進化させられるか？

主な発見

• DSGEは、1つ以上の隠れ層を有する多層構造のANNを成功裏に進化させ、深層ネットワークトポロジーの複雑さを効果的に扱えることを示した。
• 1つ以上の隠れ層を有するDSGEで進化されたANNの性能は、ほとんどのデータセットにおいて1隠れ層のANNと統計的に同等であり、性能の安定性とスケーラビリティを示している。
• 入力次元がより高いデータセットでは、より深いアーキテクチャが表現能力を発揮するため、やや優れた性能が観察され、より深いネットワークの利点が顕著に現れる。
• 一部のケースでは訓練指標に統計的に有意な差が見られたが、テスト指標には同様の差が観察されず、より深いネットワークが良好な一般化性能を示していることが示唆される。
• 有意な差が観察された場合、効果量は一貫して大きく、高次元で複雑な問題において意味のある性能向上が得られている。
• 多層構造のネットワークを許容した場合、進化されたANNのニューロン数と隠れ層の数が顕著に増加しており、DSGEが深層アーキテクチャを効果的に探索できることを確認した。