[論文レビュー] Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks

Mohammad Javad Shafiee, Elnaz Barshan+1 more|arXiv (Cornell University)|Apr 7, 2017

Neural Networks and Applications参考文献 32被引用数 12

ひとこと要約

本論文は、GPU や AI アクcelerator などの並列ハードウェアに最適化された、高次にスパースでクラスタ構造を持つネットワーク構造を進化させる、シナプスクラスタ駆動型の遺伝的符号化方式を提案する。この手法は、複数のベンチマークで精度を維持または向上させながら、シナプス数を最大125倍削減し、クラスタ効率を最大9.7倍向上させた。

ABSTRACT

A promising paradigm for achieving highly efficient deep neural networks is the idea of evolutionary deep intelligence, which mimics biological evolution processes to progressively synthesize more efficient networks. A crucial design factor in evolutionary deep intelligence is the genetic encoding scheme used to simulate heredity and determine the architectures of offspring networks. In this study, we take a deeper look at the notion of synaptic cluster-driven evolution of deep neural networks which guides the evolution process towards the formation of a highly sparse set of synaptic clusters in offspring networks. Utilizing a synaptic cluster-driven genetic encoding, the probabilistic encoding of synaptic traits considers not only individual synaptic properties but also inter-synaptic relationships within a deep neural network. This process results in highly sparse offspring networks which are particularly tailored for parallel computational devices such as GPUs and deep neural network accelerator chips. Comprehensive experimental results using four well-known deep neural network architectures (LeNet-5, AlexNet, ResNet-56, and DetectNet) on two different tasks (object categorization and object detection) demonstrate the efficiency of the proposed method. Cluster-driven genetic encoding scheme synthesizes networks that can achieve state-of-the-art performance with significantly smaller number of synapses than that of the original ancestor network. ($\sim$125-fold decrease in synapses for MNIST). Furthermore, the improved cluster efficiency in the generated offspring networks ($\sim$9.71-fold decrease in clusters for MNIST and a $\sim$8.16-fold decrease in clusters for KITTI) is particularly useful for accelerated performance on parallel computing hardware architectures such as those in GPUs and deep neural network accelerator chips.

研究の動機と目的

• モバイルデバイスや組み込みシステムなどのリソース制約のある環境における、大規模で複雑なディープニューラルネットワークの非効率性を是正すること。
• 神経生物学的にインspiredされたシナプスクラスタリングを遺伝的符号化プロセスに組み込むことで、進化的ディープラーニングの効率を向上させること。
• 個々のシナプスの特性だけでなく、シナプス間の関係性を捉える遺伝的符号化方式を開発し、スパースでハードウェア最適化されたネットワークの進化をガイドすること。
• クラスタ駆動型の進化が、パラメータ数を著しく削減し、GPU や AI アクセラレータなどの並列アーキテクチャで計算効率を向上させるモデルを生成できるかどうかを評価すること。

提案手法

• シナプスの特性を個別にモデル化するのでなく、それらのシナプス間の関係性やクラスタリング傾向に基づいて、多要因の遺伝的符号化方式を導入する。
• 神経生物学的証拠であるクラスタードシナプスの共活性化にインスパイアされ、スパースで高密度なシナプスクラスタの形成を促進する確率的符号化を採用する。
• 確率的グラフィカルモデル内での突然変異、選択、遺伝の進化的メカニズムを用い、祖先アーキテクチャから逐次的に子孫ネットワークを生成する。
• クラスタ効率を、元のネットワークにおけるカーネル数を進化後のネットワークにおけるカーネル数で割った比として定義し、並列ハードウェアでの潜在的高速化の指標とする。
• LeNet-5、AlexNet、ResNet-56、DetectNet を用いた標準的なディープラーニングベンチマーク（MNIST、CIFAR-10、STL-10、KITTI）を用いて、性能と効率を評価する。
• 進化的最適化によりモデルの精度を維持しながら、シナプス数を著しく削減し、クラスタスパarsityを向上させる。

実験結果

リサーチクエスチョン

• RQ1 シナプスクラスタリングをモデル化する遺伝的符号化方式は、個々のシナプスに基づく符号化に比べ、より効率的なディープニューラルネットワークを生成できるか？
• RQ2 シナプスクラスタ駆動型の進化は、モデルの精度を維持または向上させながら、シナプス数をどの程度削減できるか？
• RQ3 得られたクラスタ効率は、GPU や AI アクセラレータなどの並列コンピューティングハードウェアでの潜在的高速化にどの程度寄与するか？
• RQ4 シナプスクラスタリングに従う進化的プロセスは、よりコンactでスパースかつハードウェア最適化されたネットワークアーキテクチャを生成するか？

主な発見

• LeNet-5 を用いた MNIST データセットでは、提案手法によりシナプス数が125倍削減され、高い精度が維持された。
• MNIST では、最終的な進化済みネットワークでクラスタ効率が9.71倍向上し、並列ハードウェアでの高速化の強い可能性が示された。
• DetectNet を用いた KITTI データセットでは、進化済みネットワークが8.16倍のクラスタ効率を達成し、元のネットワークに比べて正確性（precision）が0.8%向上、再現率（recall）が1.7%向上した。
• ResNet-56 を用いた CIFAR-10 では、クラスタ効率が2.25倍に向上し、精度の低下は3.21%にとどまり、優れた効率-精度トレードオフが実証された。
• すべてのタスク（物体分類および検出）において、モデルの複雑さを著しく削減しながら、性能を維持または向上させた。
• 結果から、シナプスクラスタ駆動型の進化が、特に GPU やディープラーニングアクセラレータチップへのデプロイに適した、極めてスパースでハードウェア最適化されたネットワークの合成を可能にすることが確認された。