[論文レビュー] Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding

Mohammad Javad Shafiee, Alexander Wong|arXiv (Cornell University)|Sep 6, 2016

Advanced Memory and Neural Computing参考文献 33被引用数 18

ひとこと要約

本稿では、神経生物学的にインspiredされたクラスタリングを活用して、深層ニューラルネットワークの進化的合成を促進するシナプスクラスタ駆動型遺伝的符号化方式を提案する。この手法により、MNIST上で最大125倍のシナプス削減を達成しつつ高い精度を維持し、リソース制限のあるデバイスにおけるGPUアクセラレート推論に最適化された顕著な効率性向上を実現する。

ABSTRACT

There has been significant recent interest towards achieving highly efficient deep neural network architectures. A promising paradigm for achieving this is the concept of evolutionary deep intelligence, which attempts to mimic biological evolution processes to synthesize highly-efficient deep neural networks over successive generations. An important aspect of evolutionary deep intelligence is the genetic encoding scheme used to mimic heredity, which can have a significant impact on the quality of offspring deep neural networks. Motivated by the neurobiological phenomenon of synaptic clustering, we introduce a new genetic encoding scheme where synaptic probability is driven towards the formation of a highly sparse set of synaptic clusters. Experimental results for the task of image classification demonstrated that the synthesized offspring networks using this synaptic cluster-driven genetic encoding scheme can achieve state-of-the-art performance while having network architectures that are not only significantly more efficient (with a ~125-fold decrease in synapses for MNIST) compared to the original ancestor network, but also tailored for GPU-accelerated machine learning applications.

研究の動機と目的

• 生物学的シナプスクラスタリングを模倣する新しい遺伝的符号化方式を開発し、深層ニューラルネットワークの進化的合成を改善すること。
• モデルの複雑さとシナプス数を低減しつつ、モデルの精度を維持または向上させること。
• メモリや計算リソースが限られた埋め込みGPU上で効率的な展開を可能にするように、進化させたネットワークを最適化すること。
• 遺伝的符号化におけるシナプスクラスタリングが、アーキテクチャの効率性と一般化性能をどのように向上させるかを調査すること。

提案手法

• シナプス確率を、シナプスクラスタの形成確率と、そのクラスタ内でのシナプス形成確率という多要因モデルに分解する。
• 遺伝的情報は、P(S_g | W_{g-1})として確率的に符号化され、祖先ネットワークからのシナプス強度w_kが、シナプス形成確率を決定づける。
• クラスタレベルとシナプスレベルの確率の積を通じて、クラスタの形成を促進し、世代を経て疎で凝集したクラスタが形成されるようにする。
• 祖先の「DNA」配列に基づく確率的ネットワーク生成により進化を進め、その後、後代ネットワークの学習と選択を実施する。
• アーキテクチャの効率性は、祖先ネットワークのパラメータ数を進化ネットワークのパラメータ数で割った比として測定する。
• クラスタ効率は、元のネットワーク層のカーネル数を進化ネットワーク層のカーネル数で割った比として定義され、並列処理ハードウェアでの潜在的な高速化を示す。

実験結果

リサーチクエスチョン

• RQ1 遺伝的符号化におけるシナプスクラスタリングは、深層ニューラルネットワークのシナプス数を顕著に削減しつつ、高いテスト精度を維持できるか？
• RQ2 本手法のクラスタ駆動型遺伝的符号化方式は、従来の pruning や圧縮手法と比較して、アーキテクチャの効率性においてどのように異なるか？
• RQ3 進化させたネットワークは、特に小さなデータセットにおいて、元の祖先ネットワークよりも一般化性能が向上する程度はどの程度か？
• RQ4 疎なシナプスクラスタリングのおかげで、埋め込みGPU上での実行で顕著な高速化が達成できるか？
• RQ5 遺伝的符号化方式は、複数のデータセットとネットワークアーキテクチャにわたって、極めて効率的で疎なシナプスクラスタの形成を促進するか？

主な発見

• MNISTにおける13世代目ネットワークでは、元の祖先ネットワークと比較して125.09倍のシナプス削減が達成され、テスト精度はわずか1.7%低下した。
• STL-10では、10世代目ネットワークが祖先より56.27倍効率的であり、精度低下は1.2%にとどまり、小規模データセットでの一般化性能が向上した。
• AlexNetを用いたCIFAR10では、6世代目ネットワークが14.39倍効率的で、精度低下は2%にとどまり、アーキテクチャの多様性にも適用可能であることが示された。
• クラスタ効率は、MNISTで9.71×、STL-10で5.96×、CIFAR10で2.82×に達し、埋め込みGPU上での高速化の強い可能性を示した。
• 進化させたネットワークは一般化性能が向上し、STL-10の後代ネットワークは初期世代においても元の祖先ネットワークよりも高いテスト精度を達成した。
• シナプスクラスタ駆動型符号化により、GPUにおける効率的な並列計算と整合する疎で凝集した接続パターンの形成が成功した。