[論文レビュー] Brain-inspired global-local hybrid learning towards human-like intelligence.

Yujie Wu, Rong Zhao+12 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Memory and Neural Computing参考文献 46被引用数 4

ひとこと要約

本論文は、スパイクニューラルネットワークにメタローカル可塑性モジュールと二段階パラメトリック学習を組み合わせた、脳にインspiredしたハイブリッド学習モデルを提案する。このモデルは、エネルギー効率的でスケールに応じた学習を可能にし、少数のサンプル学習や耐障害性学習といったタスクで検証された。実装はTianjic神経モルフィックプラットフォーム上で行われた。

ABSTRACT

Two main routes of learning methods exist at present including neuroscience-inspired methods and machine learning methods. Both have own advantages, but neither currently can solve all learning problems well. Integrating them into one network may provide better learning abilities for general tasks. On the other hand, spiking neural network embodies computation in spatiotemporal domain with unique features of rich coding scheme and threshold switching, which is very suitable for low power and high parallel neuromorphic computing. Here, we report a spike-based general learning model that integrates two learning routes by introducing a brain-inspired meta-local module and a two-phase parametric modelling. The hybrid model can meta-learn general local plasticity, and receive top-down supervision information for multi-scale learning. We demonstrate that this hybrid model facilitates learning of many general tasks, including fault-tolerance learning, few-shot learning and multiple-task learning. Furthermore, the implementation of the hybrid model on the Tianjic neuromorphic platform proves that it can fully utilize the advantages of neuromorphic hardware architecture and promote energy-efficient on-chip applications.

研究の動機と目的

• 一般学習タスクを解消するための単独の神経科学的インスパイアドおよび機械学習手法の限界を克服すること。
• 脳にインspiredしたメタローカル可塑性とパラメトリックモデリングを統合し、適応的でスケールに応じた学習を実現すること。
• スパイクニューラルネットワークにおけるトップダウンの監視を可能にし、多様なタスクにわたる一般化性能を向上させること。
• 神経モルフィックハードウェアの利点を活用し、低消費電力でオンチップ推論と学習を実現すること。
• Tianjicプラットフォーム上で汎用的学習のエネルギー効率的実装を示すこと。

提案手法

• スパイクニューラルネットワークにおける一般化されたローカル可塑性ルールのメタラーニングを可能にする、脳にインspiredしたメタローカルモジュールを導入する。
• オンライン適応とトップダウン監視の両方をサポートする二段階パラメトリックモデリング手法を採用する。
• スパイクニューロンにおける時空間的符号化としきい値スイッチングを活用し、低消費電力で高並列な計算を実現する。
• ハイブリッドモデルを設計し、マルチスケール学習とタスク一般化の向上を図るためのトップダウンフィードバックを受信可能にする。
• スパイクダイナミクスをハードウェアネイティブにサポートするTianjic神経モルフィックプラットフォームにハイブリッドモデルをマッピングする。
• 神経モルフィックアーキテクチャを活用し、エネルギー効率的なオンチップ学習と推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 神経科学的インスパイアドと機械学習の原則を統合したハイブリッド学習モデルは、多様なタスクにわたるより優れた一般化を達成できるか？
• RQ2 メタラーニングされたローカル可塑性ルールは、スパイクニューラルネットワークにおける適応性をどのように向上させるか？
• RQ3 トップダウン監視は、スパイクベースモデルにおけるマルチスケール学習をどの程度向上させるか？
• RQ4 このようなハイブリッドモデルは、神経モルフィックハードウェア上でエネルギー効率的なオンチップ学習を達成できるか？
• RQ5 スパイクダイナミクスとパラメトリックモデリングの統合は、耐障害性学習および少数のサンプル学習をどのように支援するか？

主な発見

• メタラーニングされた可塑性により、ノイズ混じりや不完全な入力データに対しても適応可能なため、モデルは耐障害性学習を効果的に実現した。
• メタラーニングされたローカル可塑性とトップダウンフィードバックを活用することで、迅速な適応が可能となり、効果的な少数のサンプル学習が達成された。
• 二段階パラメトリックモデリングによりマルチタスク学習が強化され、タスク間での効率的な転送が可能になった。
• Tianjic神経モルフィックプラットフォームへの実装により、モデルがハードウェアネイティブなスパイクダイナミクスと互換性があることが確認された。
• 神経モルフィックハードウェアアーキテクチャを完全に活用することで、オンチップ学習アプリケーションにおけるエネルギー効率性が示された。
• 脳にインspiredしたメカニズムとパラメトリック学習の統合により、一般学習タスクにおいても強固な性能が達成された。