[論文レビュー] Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks

Mohammad Javad Shafiee, Francis Li+1 more|arXiv (Cornell University)|Jul 1, 2017

Evolutionary Algorithms and Applications参考文献 7被引用数 3

ひとこと要約

本稿では、世代にわたって16ビットのシナプス精度制約を強制する進化的合成フレームワークを提案する。確率的で遺伝的要因を模倣したモデルを用いて、スパースで高速なネットワークを進化させる。Parse-27kデータセット上で、シナプス数を10倍に削減し、推論速度を7 fpsから37 fpsまで30 fps以上向上（10倍の高速化）したが、精度と再現率は安定を保った。

ABSTRACT

A key contributing factor to incredible success of deep neural networks has been the significant rise on massively parallel computing devices allowing researchers to greatly increase the size and depth of deep neural networks, leading to significant improvements in modeling accuracy. Although deeper, larger, or complex deep neural networks have shown considerable promise, the computational complexity of such networks is a major barrier to utilization in resource-starved scenarios. We explore the synaptogenesis of deep neural networks in the formation of efficient deep neural network architectures within an evolutionary deep intelligence framework, where a probabilistic generative modeling strategy is introduced to stochastically synthesize increasingly efficient yet effective offspring deep neural networks over generations, mimicking evolutionary processes such as heredity, random mutation, and natural selection in a probabilistic manner. In this study, we primarily explore the imposition of synaptic precision restrictions and its impact on the evolutionary synthesis of deep neural networks to synthesize more efficient network architectures tailored for resource-starved scenarios. Experimental results show significant improvements in synaptic efficiency (~10X decrease for GoogLeNet-based DetectNet) and inference speed (>5X increase for GoogLeNet-based DetectNet) while preserving modeling accuracy.

研究の動機と目的

• 16ビットのシナプス精度制限が深層ニューラルネットワークの進化的合成に与える影響を調査すること。
• リソース制約のある環境におけるディープラーニングの計算コストとメモリコストを低減する課題に対処すること。
• シナプス精度制限を活用して、性能を損なわせずにより効率的で低精度のDNNを進化させることの可能性を探ること。
• 生物学的シナプトゲネシスを模倣した確率的生成的進化的フレームワークに、シナプス精度制限を統合すること。
• 精度制限下でのモデル効率（シナプス数、推論速度）とモデル精度（精度、再現率）のトレードオフを評価すること。

提案手法

• 進化的合成では、遺伝的エンコードとしてシナプス確率モデル $ P(S_g|W_{g-1}) $ を用い、世代間での『DNA』を表現する。
• 後代ネットワークは $ P(S_g) riangleq P(S_g|W_{g-1}) \times F(ar{\theta}) $ を介して確率的に合成され、ここで $ F(ar{\theta}) $ はネットワークアーキテクチャに影響を与える環境要因を表す。
• 従来の遺伝的アルゴリズムや進化的プログラミングなどの手法に代わり、確率的生成モデリング戦略を採用する。
• 32ビット精度で訓練した後、シナプス重みを16ビット（半精度）に制限することで、低精度演算を強制し、将来の世代に影響を与える。
• 13世代にわたり反復的にネットワークを進化させ、CaffeとTensorRTを用いてParse-27kデータセット上で推論速度、シナプス数、精度を監視する。
• 環境条件を調整してスパarsityと効率性を促進し、スパースで高速なアーキテクチャへの確率的シナプトゲネシスのプロセスを導く。

実験結果

リサーチクエスチョン

• RQ1 16ビットのシナプス精度制限を課すことにより、深層ニューラルネットワークの進化的合成におけるモデル効率と性能にどのような影響を与えるか？
• RQ2 シナプス精度の低減を確率的進化的フレームワークに効果的に統合することで、コンactで高速なDNNを生成できるか？
• RQ3 進化中にシナプス精度を半精度（16ビット）に制限した場合、モデリング精度はどの程度保持されるか？
• RQ4 精度制限下で、シナプス数と推論速度が世代にわたってどのように変化するか？
• RQ5 進化的合成プロセスは、リソース制約のある推論環境において、計算的に効率的でかつ正確なDNNを生成できるか？

主な発見

• 進化した13世代目のネットワークは、Jetson TX1上で37 fpsの推論速度を達成し、初代の7 fpsから430%の向上を示した。
• 13世代にわたってシナプス数が10倍に削減され、顕著なアーキテクチャのスパース化が確認された。
• 精度はほとんど安定しており、初代から13世代目までに約2%のわずかな上昇を示した。
• 再現率は世代にわたってわずかに2%低下したが、検出感度の低下は最小限に抑えられた。
• シナプス精度制限と進化的合成の組み合わせにより、計算およびメモリ要件を顕著に低減しながらも、高いモデリングパフォーマンスを維持した。
• 16ビット精度制限を進化的プロセスに統合することで、エッジデプロイメントに適した効率的で低精度のDNNの出現を効果的に導いた。