[論文レビュー] Brain-Inspired Self-Organization with Cellular Neuromorphic Computing for Multimodal Unsupervised Learning

Lyes Khacef, Laurent Rodriguez+1 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Memory and Neural Computing参考文献 106被引用数 19

ひとこと要約

本稿では、ヘブ則に類似した学習と再帰的フィードバック機構を用いた自己組織化により、マルチモーダルな教師なし学習を可能にする、脳にインspiredされた神経モルフィックアーキテクチャ「再帰的自己組織化マップ（ReSOM）」を提案する。ReSOMは、クロスモダリティ推論のための収束と発散を活用し、シナプス切断によるハードウェアの可塑性を誘発することで、書記／音声の数字データセットおよびDVS／EMGハンドジェスチャーデータセットにおいて、それぞれ+8.03%および+5.67%の精度向上を達成した。

ABSTRACT

Cortical plasticity is one of the main features that enable our ability to learn and adapt in our environment. Indeed, the cerebral cortex self-organizes itself through structural and synaptic plasticity mechanisms that are very likely at the basis of an extremely interesting characteristic of the human brain development: the multimodal association. In spite of the diversity of the sensory modalities, like sight, sound and touch, the brain arrives at the same concepts (convergence). Moreover, biological observations show that one modality can activate the internal representation of another modality when both are correlated (divergence). In this work, we propose the Reentrant Self-Organizing Map (ReSOM), a brain-inspired neural system based on the reentry theory using Self-Organizing Maps and Hebbian-like learning. We propose and compare different computational methods for unsupervised learning and inference, then quantify the gain of the ReSOM in a multimodal classification task. The divergence mechanism is used to label one modality based on the other, while the convergence mechanism is used to improve the overall accuracy of the system. We perform our experiments on a constructed written/spoken digits database and a DVS/EMG hand gestures database. The proposed model is implemented on a cellular neuromorphic architecture that enables distributed computing with local connectivity. We show the gain of the so-called hardware plasticity induced by the ReSOM, where the system's topology is not fixed by the user but learned along the system's experience through self-organization.

研究の動機と目的

• 自己組織化を通じて教師なしマルチモーダル学習を可能にする、脳にインspiredされた計算モデルの開発。
• 経験に基づいて接続性を動的に構造化する神経モルフィックシステムの実装により、皮質可塑性を模倣する。
• 自己組織化アーキテクチャにおける収束および発散メカニズムを用いたマルチモーダル統合の性能向上を定量的に評価する。
• セルラー神経モルフィックFPGA実装におけるシナプス切断による通信削減を通じて、ハードウェア効率の向上を実証する。

提案手法

• ReSOMモデルは、視覚や音声などの異なる感覚入力からの単モダリティ表現を学習するために、コホネン型自己組織化マップ（SOM）を用いる。
• 相関するモダリティを表すニューロン間の結合を強化するヘブ則に類似した学習を適用し、シナプスの成長と切断を通じて構造的可塑性を実現する。
• 二方向の信号交換を可能にする再帰的フィードバックパラダイムを活用し、収束（共有概念の形成）と発散（クロスモダリティ活性化）の両方を支援する。
• 乗法的更新メカニズムにより、複数のマップ間での活動レベルを正規化し、第二のハイパーパramータを必要とせずに一貫したグローバル最良一致ユニット（BMU）選択を可能にする。
• アーキテクチャは、FPGA上で分散的・局所的接続に基づく計算を可能にする反復グリッド（IG）セルラー神経モルフィックフレームワークに実装される。
• マップ間の接続性は事前に定義されておらず、経験を通じて学習されるため、通信オーバーヘッドを低減するハードウェア可塑性の一種が得られる。

実験結果

リサーチクエスチョン

• RQ1 神経モルフィックシステムは、皮質可塑性を模倣することで、どのように教師なしマルチモーダル学習を達成できるか？
• RQ2 発散メカニズムは、他のモダリティからの情報を用いて、1つのモダリティのラベル付け精度をどの程度向上できるか？
• RQ3 収束メカニズムは、最良の単一モダリティ性能を超えて、全体の分類精度を向上させることができるか？
• RQ4 自己組織化によるシナプス切断は、通信コストをどの程度低減し、ハードウェア効率を向上させるか？
• RQ5 ハードウェア可塑性は、神経モルフィックシステムにおけるエネルギー効率とスケーラビリティにどのような影響を与えるか？

主な発見

• ReSOMは、書記／音声の数字データセットにおいて、単一モダリティベースラインと比較して+8.03%の精度向上を達成した。
• DVS／EMGハンドジェスチャーデータセットでは、マルチモーダル統合により+5.67%の精度向上を達成した。
• 発散ベースのラベリングは、真値ラベルを用いた場合と同等の単一モダリティ分類精度を達成し、効果的なクロスモダリティ推論を示した。
• シナプス切断により、横方向のシナプス接続を約80%削減し、通信オーバーヘッドを顕著に低減した。
• ReSOMの自己組織化されたマップ間接続性は、不要なニューロン間通信を最小限に抑えることで、エネルギー効率の向上に寄与するハードウェア可塑性の一種を実現した。
• 乗法的更新手法により、第二のハイパーパramータを必要とせず一貫したグローバルBMU選択が可能となり、チューニングの簡素化が実現した。