[論文レビュー] Generative NeuroEvolution for Deep Learning

Phillip Verbancsics, Josh Harguess|arXiv (Cornell University)|Dec 18, 2013

Evolutionary Algorithms and Applications参考文献 35被引用数 38

ひとこと要約

この論文は、幾何的符号化を介して間接的に深層ニューラルネットワークアーキテクチャを進化させる、組成パターン生成ネットワーク（CPPN）を用いた神経進化手法であるHyperNEATを調査している。HyperNEAT単体では画像分類においては性能が低いが、バックプロパゲーションと組み合わせると特徴抽出器として優れた性能を示し、畳み込みニューラルネットワーク（CNN）と組み合わせてMNISTで92.1％のテスト精度を達成した。これは生物学的発達にインspiredされたハイブリッド学習システムの可能性を示している。

ABSTRACT

An important goal for the machine learning (ML) community is to create approaches that can learn solutions with human-level capability. One domain where humans have held a significant advantage is visual processing. A significant approach to addressing this gap has been machine learning approaches that are inspired from the natural systems, such as artificial neural networks (ANNs), evolutionary computation (EC), and generative and developmental systems (GDS). Research into deep learning has demonstrated that such architectures can achieve performance competitive with humans on some visual tasks; however, these systems have been primarily trained through supervised and unsupervised learning algorithms. Alternatively, research is showing that evolution may have a significant role in the development of visual systems. Thus this paper investigates the role neuro-evolution (NE) can take in deep learning. In particular, the Hypercube-based NeuroEvolution of Augmenting Topologies is a NE approach that can effectively learn large neural structures by training an indirect encoding that compresses the ANN weight pattern as a function of geometry. The results show that HyperNEAT struggles with performing image classification by itself, but can be effective in training a feature extractor that other ML approaches can learn from. Thus NeuroEvolution combined with other ML methods provides an intriguing area of research that can replicate the processes in nature.

研究の動機と目的

• 神経進化、特にHyperNEATが視覚的タスクのための深層ニューラルネットワークを効果的に学習できるかどうかを検討すること。
• 従来の神経進化が、生物学的神経系に類似した大規模・深層アーキテクチャにスケーリングするという限界を克服すること。
• HyperNEATが下流の教師あり学習のための実用的な特徴抽出器として機能できるかどうかを調査すること。
• 特に畳み込みニューラルネットワーク（CNN）のようなアーキテクチャの選択が、HyperNEATの特徴学習性能に与える影響を評価すること。
• CPPNによる間接符号化が、深層学習に適した汎用的で高次の表現を生成できるかどうかを検討すること。

提案手法

• HyperNEATは、ノード間の幾何的関係に基づいて重みパターンを生成するための間接符号化として、組成パターン生成ネットワーク（CPPN）を用いる。
• CPPNは、多次元空間におけるノードの空間座標を接続重みにマッピングすることで、明示的な列挙なしに複雑で規則的かつ階層的な重みパターンの進化を可能にする。
• HyperNEATによる神経進化は、MNISTデータセットにおける分類性能に基づくフィットネス評価を用いて、遺伝的アルゴリズムによりCPPNのパラメータを進化させる。
• この手法は、単体の分類器としてのHyperNEATと、進化した特徴をバックプロパゲーションで学習する別個のネットワークに供給する特徴抽出器としての両方の評価を行う。
• アーキテクチャの影響を評価するために、完全結合型と畳み込みニューラルネットワーク（CNN）アーキテクチャを含む、さまざまなANNサブストレート上で性能を比較する。
• フィットネス関数は、真陽性、真陰性、偽陽性、偽陰性といった複数の分類指標を組み合わせ、強固で汎用的な表現への進化探索を導く。

実験結果

リサーチクエスチョン

• RQ1 HyperNEATは画像分類タスクのための深層ニューラルネットワークアーキテクチャを効果的に進化させることができるか？
• RQ2 CPPNによる間接符号化は、生物学的神経系に類似した大規模・複雑なANNのスケーラブルな進化を可能にするか？
• RQ3 バックプロパゲーション学習と組み合わせた場合、HyperNEATは効果的な特徴抽出器として機能できるか？
• RQ4 ニューラルネットワークアーキテクチャの選択（例：完全結合型対畳み込み型）が、HyperNEATの特徴学習性能に与える影響は何か？
• RQ5 間接符号化の進化探索によって、教師あり学習と併用した際に、未学習データに対しても一般化できる表現が得られるか？

主な発見

• HyperNEAT単体ではMNIST分類においては性能が低く、フィットネス性能のピークはたったの4.1％、テスト精度は27.7％にとどまる。
• バックプロパゲーションで学習するネットワークの特徴抽出器として使用した場合、HyperNEATはフィットネススコア7.0、MNISTデータセットでのテスト精度92.1％を達成した。
• 完全結合型から畳み込みニューラルネットワーク（CNN）アーキテクチャに切り替えることで、HyperNEATの特徴学習性能が顕著に向上した。
• HyperNEATが生成する特徴マップの可視化により、特徴次元に沿って明確な幾何的パターンが観察され、構造的で意味のある表現であることが示された。
• CPPNによる間接符号化は、規則的で階層的かつモジュラーな重みパターンの発見を可能にし、効果的な特徴学習を支援した。
• 進化による特徴発見とバックプロパゲーションによる微調整を組み合わせたハイブリッドアプローチは、生物学的学習プロセスに類似しており、未学習データへの一般化を支援した。