[論文レビュー] Flexible Transmitter Network

Shao-Qun Zhang, Zhihua Zhou|arXiv (Cornell University)|Apr 8, 2020

Advanced Memory and Neural Computing参考文献 24被引用数 4

ひとこと要約

本稿では、神経伝達物質放出と神経栄養素調節によるシナプスサイズの動的制御をモデル化する2変数関数を用いてシナプス可塑性を組み込んだ、新しい生物学的妥当性を有するニューロンモデルであるFlexible Transmitter (FT)モデルを提案する。FTモデルを複素数値の2変数関数として定式化し、完全結合型前向き伝搬ネットワーク（FTNet）に実装することで、時系列および画像分類を含む多様なタスクで、CNN-LSTM や SLAYER などの最先端モデルを上回る優れた性能を達成した。

ABSTRACT

Current neural networks are mostly built upon the MP model, which usually formulates the neuron as executing an activation function on the real-valued weighted aggregation of signals received from other neurons. In this paper, we propose the Flexible Transmitter (FT) model, a novel bio-plausible neuron model with flexible synaptic plasticity. The FT model employs a pair of parameters to model the transmitters between neurons and puts up a neuron-exclusive variable to record the regulated neurotrophin density, which leads to the formulation of the FT model as a two-variable two-valued function, taking the commonly-used MP neuron model as its special case. This modeling manner makes the FT model not only biologically more realistic, but also capable of handling complicated data, even time series. To exhibit its power and potential, we present the Flexible Transmitter Network (FTNet), which is built on the most common fully-connected feed-forward architecture taking the FT model as the basic building block. FTNet allows gradient calculation and can be implemented by an improved back-propagation algorithm in the complex-valued domain. Experiments on a board range of tasks show the superiority of the proposed FTNet. This study provides an alternative basic building block in neural networks and exhibits the feasibility of developing artificial neural networks with neuronal plasticity.

研究の動機と目的

• 標準的なMPモデルを超えるシナプス可塑性を捉える、より生物学的妥当性の高いニューロンモデルの開発。
• 神経栄養素密度を用いたシナプスサイズの動的制御をモデル化し、長期増強および長期抑止を反映する。
• FTモデルに基づく学習可能なニューラルネットワークアーキテクチャ（FTNet）の設計。複素数ドメインにおける勾配ベース学習をサポートする。
• FTモデルの表現力および一般化能力が多様な機械学習タスクに及ぼす影響の実証。
• 複素数値実装の可能性を検討し、ニューラルネットワークのダイナミクスおよび性能向上に寄与するかの調査。

提案手法

• FTモデルは、シナプス可塑性を表す2変数2値関数を用い、シナプス前信号と神経栄養素密度変数（シナプス強度を調節）を入力とする。
• 神経伝達物質放出は、興奮性／抑制性伝達を表すパラメータのペアでモデル化され、神経栄養素密度はシナプス後受容体サイズと信号受容性を動的に制御する。
• モデルは複素数値ドメインに実装され、実部が信号伝達を、虚部が神経栄養素ダイナミクスを表す。
• FTNetアーキテクチャのエンドツーエンド学習を可能にするために、改良された複素数値バックプロパゲーション（CBP）アルゴリズムを開発した。
• FTNetは標準的な完全結合型前向き伝搬構造を採用し、すべての層がFTニューロンモデルに基づき、CBPアルゴリズムで学習される。
• 複素数値定式化により、局所的再帰的ダイナミクスを模倣でき、順序的および時間的データの効果的処理が可能になった。

実験結果

リサーチクエスチョン

• RQ1 神経栄養素調節によるシナプス可塑性を組み込んだニューロンモデルは、標準的なMPモデルやスパikingニューロンモデルを上回る性能を達成できるか？
• RQ2 特に長期増強および長期抑止を含むシナプス可塑性は、微分可能なニューラルネットワークフレームワーク内でどのように数学的に定式化できるか？
• RQ3 FTモデルの複素数値定式化は、勾配ベース学習を可能にするとともに、時間的依存性を捉えるのに有効であるか？
• RQ4 提案されたFTNetアーキテクチャは、画像分類および時系列分類を含む多様なタスクで、既存の最先端モデルを上回る性能を示すか？
• RQ5 FTモデルの2変数構造は、フィードフォワードおよび再帰的処理の両方に一般化可能であるか。その場合、RNNと比較してどのように異なるか？

主な発見

• MNISTデータセットでは、FTNetが99.12%の精度を達成し、CNN-LSTMモデル（98.66%）およびSLAYERモデルを上回った。
• TIMITの音声認識タスクでは、1000イテレーションで92.87%の精度を達成し、標準的なRNNおよびCNNを上回った。
• 画像分類、時系列モデリング、音声認識を含むすべての評価タスクで、FTモデルの性能は一貫して優れていた。
• 複素数値実装により、安定的かつ効果的なバックプロパゲーションが可能となり、FTモデルの学習にホロモーレィック関数を用いる可能性が裏付けられた。
• FTモデルは、MPモデルおよびRNNユニットを特別なケースとして包含しており、より広範な表現能力を有することが確認された。
• 神経栄養素密度を学習可能な変数として組み込むことで、動的シナプス可塑性が実現され、学習効率および一般化能力の向上に寄与した。