[論文レビュー] Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing

Travis Desell|arXiv (Cornell University)|Mar 15, 2017

Evolutionary Algorithms and Applications参考文献 26被引用数 15

ひとこと要約

本論文は、ボランティアコンピューティングプラットフォームであるBOINCを活用して、フィルターサイズと接続性を最適化することで畳み込みニューラルネットワーク（CNN）のアーキテクチャを進化させる、新しい進化的アルゴリズムEXACTを紹介する。バックプロパゲーション戦略を基本として使用したにもかかわらず、4,500台のボランティアマシンを活用して120,000体以上のCNNをトレーニングした結果、MNISTで98.32％のテスト精度を達成し、人間が設計したベンチマークを上回った。

ABSTRACT

This work presents a new algorithm called evolutionary exploration of augmenting convolutional topologies (EXACT), which is capable of evolving the structure of convolutional neural networks (CNNs). EXACT is in part modeled after the neuroevolution of augmenting topologies (NEAT) algorithm, with notable exceptions to allow it to scale to large scale distributed computing environments and evolve networks with convolutional filters. In addition to multithreaded and MPI versions, EXACT has been implemented as part of a BOINC volunteer computing project, allowing large scale evolution. During a period of two months, over 4,500 volunteered computers on the Citizen Science Grid trained over 120,000 CNNs and evolved networks reaching 98.32% test data accuracy on the MNIST handwritten digits dataset. These results are even stronger as the backpropagation strategy used to train the CNNs was fairly rudimentary (ReLU units, L2 regularization and Nesterov momentum) and these were initial test runs done without refinement of the backpropagation hyperparameters. Further, the EXACT evolutionary strategy is independent of the method used to train the CNNs, so they could be further improved by advanced techniques like elastic distortions, pretraining and dropout. The evolved networks are also quite interesting, showing "organic" structures and significant differences from standard human designed architectures.

研究の動機と目的

• 任意の畳み込みニューラルネットワークアーキテクチャ（フィルターサイズおよび接続性を含む）を進化させることを目的としたスケーラブルな進化的アルゴリズムの開発。
• CNNのトレーニングと進化にかかる高コストを克服するため、ボランティアコンピューティングリソースを活用した大規模分散実行を可能にする。
• 進化したCNNアーキテクチャが、MNISTのような標準ベンチマークで、人間が設計したアーキテクチャを上回る性能と構造的独自性を示すかを検証すること。
• 進化的な演算子とハイパーパrameterが、進化したCNNの品質と多様性に与える影響を調査すること。
• 3Dフィルタ、プーリング層、およびハイパーパrameterの共同最適化をサポートする、将来の自動CNNアーキテクチャ探索の可能性を広げるための基盤を提供すること。

提案手法

• EXACTは、フィルターサイズとフィルタ間接続性をゲノム的特徴として扱い、突然変異によってフィルターサイズと接続パターンを変更することでCNNを進化させる。
• BOINCプラットフォームを介して数千台のボランティアコンピュータホストに横方向にスケーリング可能な、非同期で分散型の進化戦略を採用している。
• 適応度は、ReLU、L2正則化、Nesterovモーメンタムを用いたバックプロパゲーショントレーニング後の検証誤差を最小化することで決定される。
• 進化的な演算子には、エッジの有効化/無効化、フィルターサイズの突然変異、親ゲノム間のクロスオーバーが含まれる。エピジェネティックな重み初期化により、親から子へのトレーニング済み重みの転送が可能である。
• 本手法は任意のフィルターサイズと接続性をサポートしており、畳み込み演算が入力/出力フィルターサイズとカーネルサイズによって定義されるグラフとしてCNNをモデル化する。
• システムはマスターワーカー型アーキテクチャで実装されており、マスタは個体群と適応度を管理し、ワーカはローカルハードウェア上でCNNを評価する。

実験結果

リサーチクエスチョン

• RQ1 フィルターサイズと接続性を含め、固定された人間による設計構造を超えて、ニューロ進化アルゴリズムが畳み込みニューラルネットワークのアーキテクチャを効果的に進化させられるか？
• RQ2 BOINCのようなボランティアコンピューティングプラットフォームは、大規模な数のCNNのトレーニングと進化をどれほどスケーリングし、標準ベンチマークで高いパフォーマンスを達成できるか？
• RQ3 同じバックプロパゲーション戦略を用いてトレーニングされた場合、進化したCNNアーキテクチャは、従来の手作業で設計されたCNNと比較して、構造的多様性とパフォーマンス向上を示すか？
• RQ4 クロスオーバーやエッジ有効化などの異なる進化的な演算子が、時間経過とともに高性能なCNNアーキテクチャの発見にどのように寄与するか？
• RQ5 エピジェネティックな重み初期化やその他のトレーニング技術は、進化したCNNのパフォーマンスをさらに向上させられるか。また、それらは収束速度にどのように影響するか？

主な発見

• EXACTは、同じバックプロパゲーション手法でトレーニングされた人間が設計したベンチマークを上回る98.32％のテスト精度を達成するCNNを成功裏に進化させた。
• ReLU、L2正則化、Nesterovモーメンタムを用いた基本的なトレーニング戦略を採用したにもかかわらず、進化したCNNは手作業で設計されたアーキテクチャよりも顕著に低いトレーニング誤差とテスト誤差を示した。
• 4,500台のボランティアコンピュータを活用して2か月間で120,000体以上のCNNをトレーニングしたが、これは分散型EXACTフレームワークのスケーラビリティを示している。
• 進化したネットワークは、退化したフィルターやエッジを有する自然で標準的でない構造を示しており、従来のCNNとは明確に異なる新しいアーキテクチャパターンを示唆している。
• クロスオーバーやエッジ有効化の演算子は、時間経過とともにより効果的になる傾向を示しており、将来的なEXACT実行におけるハイパーパrameterの適応的チューニングの可能性を示唆している。
• エピジェネティックな重み初期化はトレーニングエポック数を短縮しなかったが、将来のプリトレーニングやドロップアウトなどの高度なトレーニング技術との統合において前向きな兆しなしとされた。