[論文レビュー] Deep Learning in Multi-Layer Architectures of Dense Nuclei

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|Sep 22, 2016

Advanced Memory and Neural Computing参考文献 22被引用数 16

ひとこと要約

本稿では、密度の高いニューロンクラスタにおけるセルソマ間相互作用を組み込んだ、マルチチャネル再帰的ランダムニューラルネットワーク（MCRNN-MLA）を用いた新規なマルチレイヤーアーキテクチャ（MLA）を提案する。再帰的スパイクニューロンをシナプス的結合と直接的なセルソマ間通信の両方でモデル化することにより、CNN や MLP と比較して顕著に短い訓練時間で、マルチチャネル画像およびセンサーデータセットにおいて最先端の分類精度を達成する。

ABSTRACT

We assume that, within the dense clusters of neurons that can be found in nuclei, cells may interconnect via soma-to-soma interactions, in addition to conventional synaptic connections. We illustrate this idea with a multi-layer architecture (MLA) composed of multiple clusters of recurrent sub-networks of spiking Random Neural Networks (RNN) with dense soma-to-soma interactions, and use this RNN-MLA architecture for deep learning. The inputs to the clusters are first normalised by adjusting the external arrival rates of spikes to each cluster. Then we apply this architecture to learning from multi-channel datasets. Numerical results based on both images and sensor based data, show the value of this novel architecture for deep learning.

研究の動機と目的

• 大規模ニューロンネットワークにおける深層学習の計算およびメモリ要件の増大に対処すること。
• 密度の高い脳の核におけるセルソマ間相互作用の生物学的妥当性を検討し、シナプス伝達の代替または補完的手段としての可能性を調査すること。
• 高い精度を維持しつつ、訓練時間を短縮可能なスケーラブルな深層学習アーキテクチャを開発すること。
• 提案されたアーキテクチャのマルチチャネルデータ（画像および実世界のセンサーより得たデータ）における性能を評価すること。
• セルソマ間相互作用が、深層スパイクニューラルネットワークにおける学習効率および分類精度を向上させることを実証すること。

提案手法

• アーキテクチャは、各レイヤーが複数の密な核から構成されるマルチレイヤー構造を採用している。各核は再帰的スパイクニューラルネットワーク（RNN）としてモデル化されている。
• 各核は、従来のシナプス的結合に加え、同じクラスタ内に存在するニューロン間の直接的通信を可能にする新規なセルソマ間相互作用を採用している。
• 外部入力は、各クラスタへのスパイク到着率の調整により正規化され、安定した活性化レベルが保証される。
• ニューロンの活性化確率 q は、セルソマ間相互作用を考慮した修正された RNN 方程式を用いて導出され、均一な条件下では q = λ⁺ / (r + λ⁻) が得られる。
• 各核から次のレイヤーへの抑制的投影を含むフィードフォワード型のレイヤー間接続構造を採用しており、階層的特徴抽出が可能である。
• 多チャンネルデータセットを用いた最適化アルゴリズムが適用され、分類精度および訓練時間の観点から性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 密度の高いニューロンクラスタにおけるセルソマ間相互作用は、スパイクニューラルネットワークにおける深層学習性能を向上させることができるか？
• RQ2 直接的なニューロン間通信の導入が、マルチチャネルデータセットにおける分類精度および訓練効率に与える影響は何か？
• RQ3 MCRNN-MLAアーキテクチャは、CNN や MLP といった標準的な深層学習モデルを上回る性能を、マルチチャネル画像およびセンサーデータで示せるか？
• RQ4 提案されたアーキテクチャ的変更は、精度を維持または向上させつつ、訓練時間をどの程度短縮できるか？
• RQ5 セルソマ間相互作用を有する RNN-MLA フレームワークは、そのような相互作用を有しない元の RNN-MLA よりも効果的であるか？

主な発見

• MCRNN-MLA はすべてのデータセットで最高のテスト精度を達成し、TGSA データセットのタスク1では 98.32%、タスク2では 92.25% の精度を記録した。
• TGSA データセットのタスク2において、MCRNN-MLA は CNN よりも約 127 倍速く訓練された。これは、優れた訓練効率を示している。
• 改良版 RNN-MLA は [5] のオリジナルの RNN-MLA を上回り、TGSA データセットのタスク1で 97.03%、タスク2で 87.06% の精度を達成した。
• NORB データセットでは、MCRNN-MLA が 92.10% の精度を達成し、ドロップアウトを適用した最良の CNN や MLP をも上回った。
• MCRNN-MLA1 のバリエーションは、TGSA データセットのタスク1で 98.61% の精度を達成し、センサーアレイ全体にわたる優れた一般化能力を示した。
• MCRNN-MLA2 のバリエーション（簡素化版）は、タスク1で 94.75% の精度を達成し、構造的簡略化にもかかわらず高い耐性を示した。