[論文レビュー] Inference with Hybrid Bio-hardware Neural Networks

Yuan Zeng, Zubayer Ibne Ferdous+7 more|arXiv (Cornell University)|May 28, 2019

Advanced Memory and Neural Computing参考文献 31被引用数 4

ひとこと要約

本論文では、生物学的層として体外培養された生存ニューロンネットワークを用い、最適化のための計算的全結合層を備えた二層構造のハイブリッドバイオ・ハードウェアニューラルネットワークを提案する。適応的プリプロセッシング、勾配推定、パrameterチューニングを通じて、MNISTデータセット全体で98.3％のテスト精度を達成し、生物学的に妥当なダイナミクスを用いた高精度な推論を実証した。

ABSTRACT

To understand the learning process in brains, biologically plausible algorithms have been explored by modeling the detailed neuron properties and dynamics. On the other hand, simplified multi-layer models of neural networks have shown great success on computational tasks such as image classification and speech recognition. However, the computational models that can achieve good accuracy for these learning applications are very different from the bio-plausible models. This paper studies whether a bio-plausible model of a in vitro living neural network can be used to perform machine learning tasks and achieve good inference accuracy. A novel two-layer bio-hardware hybrid neural network is proposed. The biological layer faithfully models variations of synapses, neurons, and network sparsity in in vitro living neural networks. The hardware layer is a computational fully-connected layer that tunes parameters to optimize for accuracy. Several techniques are proposed to improve the inference accuracy of the proposed hybrid neural network. For instance, an adaptive pre-processing technique helps the proposed neural network to achieve good learning accuracy for different living neural network sparsity. The proposed hybrid neural network with realistic neuron parameters and variations achieves a 98.3% testing accuracy for the handwritten digit recognition task on the full MNIST dataset.

研究の動機と目的

• 体外培養された生存ニューロンネットワークの生物学的ばらつきを考慮しても、高精度な推論を達成できるかを調査すること。
• 生物学的層と計算的層を活用した生物学的に妥当な推論メカニズムを構築すること。
• 実験的ニューロンパラメータをハイブリッドアーキテクチャに統合することで、生物学的に現実的なニューロンダイナミクスと高精度な機械学習のギャップを埋めること。
• 生存ニューロンネットワークを計算学習アルゴリズムのテストおよび実装プラットフォームとして使用する可能性を検証すること。

提案手法

• 二層構造のハイブリッドニューラルネットワークを設計：生物学的層は、実験的に得られたニューロン、シナプス、スパarsityパラメータを用いて、体外培養ラット皮質ネットワークをモデル化する。
• 計算的層は、分類精度を最適化できるように調整可能な重みとハイパーパrameterを持つ全結合ネットワークを採用する。
• 生物学的層のネットワークスパarsityの変動に対応するため、適応的プリプロセッシング技術を導入して一貫した性能を維持する。
• 入力電流がしきい値未満の場合にのみ勾配を伝搬させるよう、範囲が限定された勾配推定器（0, 0.0075）を用いて学習を改善する。
• 計算的層に指数関数的減衰を伴う適応的学習率を適用し、収束性と精度を向上させる。
• 自動探索によるパラメータチューニングにより、生物学的層および計算的層の最適な学習率と重み分布を同定する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に現実的なニューロンおよびシナプスダイナミクスを有するハイブリッドバイオ・ハードウェアニューラルネットワークは、標準的な機械学習ベンチマークで高精度な推論を達成できるか？
• RQ2 シナプス強度やニューロンしきい値分布などの生物学的ばらつきは、ハイブリッドニューラルネットワークの性能にどのように影響するか？
• RQ3 ハイブリッド学習システムにおいて、生物物理学的モデルと計算モデルの性能差を効果的に補償する手法は何か？
• RQ4 生物学的制約を尊重する勾配推定戦略は、ハイブリッドネットワークにおける学習の安定性と精度を向上させられるか？

主な発見

• 2000個の隠れニューロンを用いたハイブリッドバイオ・ハードウェアニューラルネットワークは、MNISTデータセット全体で98.3％のテスト精度を達成し、最先端性能に近い結果を得た。
• 2000個の隠れニューロンを用いた場合、最適化後、MNISTデータセット全体で97.94％の精度に到達した。これはスケーラビリティとロバストネスを示している。
• 適応的プリプロセッシング技術により、生物学的層の異なるスパarsityレベルに対しても一貫した性能が達成された。
• 範囲が限定された勾配推定器（0, 0.0075）の使用により、入力電流に基づいて重みを選択的に更新することで収束性が向上した。
• 指数関数的減衰を伴う適応的学習率は、ベースライン最適化と比較して精度を2％向上させた。これはハイブリッドフレームワーク内での有効性を確認した。
• 生物学的パラメータを有する生物物理学的モデルでは、ニューロンの発火率が計算モデル（80％）と比較して低下（60％）したが、精度は向上した。これはモデルの生物学的妥当性を裏付けた。