[論文レビュー] Neuromorphic Overparameterisation and Few-Shot Learning in Multilayer Physical Neural Networks

Kilian D. Stenning, Jack C. Gartside+11 more|arXiv (Cornell University)|Nov 11, 2022

Neural Networks and Reservoir Computing被引用数 8

ひとこと要約

本論文は、相互接続されたナノ磁性アレイを用いた多層物理的ニューラルネットワーク（PNN）アーキテクチャを提案し、ニューロモルフィックな過パラメータ化と少サンプル学習を実現する。多様なマイクロステート空間と幾何構造を設計し、並列および直列接続による複数の物理的ノードを連結することで、高次元のダイナミクスを達成し、最小限のデータでメタラーニングを可能にし、特にMAMLベースの最適化による迅速なオンザフライ再構成により、タスク間で優れた一般化性能を示す。

ABSTRACT

Physical neuromorphic computing, exploiting the complex dynamics of physical systems, has seen rapid advancements in sophistication and performance. Physical reservoir computing, a subset of neuromorphic computing, faces limitations due to its reliance on single systems. This constrains output dimensionality and dynamic range, limiting performance to a narrow range of tasks. Here, we engineer a suite of nanomagnetic array physical reservoirs and interconnect them in parallel and series to create a multilayer neural network architecture. The output of one reservoir is recorded, scaled and virtually fed as input to the next reservoir. This networked approach increases output dimensionality, internal dynamics and computational performance. We demonstrate that a physical neuromorphic system can achieve an overparameterised state, facilitating meta-learning on small training sets and yielding strong performance across a wide range of tasks. Our approach's efficacy is further demonstrated through few-shot learning, where the system rapidly adapts to new tasks.

研究の動機と目的

• 既存のニューロモルフィックシステムにおける出力次元の制限とダイナミクスの制限が性能と多様性を制限するのを克服すること。
• 複数の物理的ノードの接続を通じてシステム次元を拡大し、物理的ニューロモルフィックコンピューティングにおける過パラメータ化領域を実現すること。
• チューナブルなナノ磁性アレイのネットワークアーキテクチャを用いて、物理的システムにおけるメタラーニングと少サンプル学習を実装すること。
• 1つの接続行列とMAMLベースの最適化を用いて、未学習のタスクに迅速かつオンザフライで再構成可能な適応を実現すること。
• ソフトウェアベースのエコー状態ネットワーク（ESNs）と比較することで、本手法の有効性を検証し、物理的実装における優れたスケーラビリティとロバストネスを示すこと。

提案手法

• 各ノードがチューナブルなマイクロステート空間と幾何構造を持つ独立した物理系である、多層ナノ磁性アレイのネットワークアーキテクチャを採用する。
• 並列、直列、多層構成による接続を実施し、高次元で非退化したダイナミクスと集合的処理を可能にする。
• 各ノードの出力活動は $ y_i(t) = \alpha_i \mathbf{w}_i \mathbf{o}(t) $ としてモデル化され、$ \alpha_i $ が重みベクトル $ \mathbf{w}_i $ をスケーリングすることで、大きさと方向のパラメータを分離して学習可能にする。
• メタラーニングはMAMLアルゴリズムを用い、$ \alpha_i $ はタスクごとに更新（内側ループ）、$ \mathbf{w}_i $ はメタ目的関数に基づき更新（外側ループ）することで、迅速な適応を実現する。
• システムは、全PNNから逐次的に選択された特徴量のサブセット上でAdam最適化器を用いて学習され、性能は10回のランダムシャッフルによる平均化によりロバスト性を確保する。
• 性能は、ノード数を変化させたソフトウェアベースのESNsと比較され、MSEを損失指標とし、視覚的比較のための多項式フィッティングを併用する。

実験結果

リサーチクエスチョン

• RQ1 複数の物理的ニューロモルフィックノードのネットワークアーキテクチャは、物理的システムにおける過パラメータ化学習を達成できるか？
• RQ2 このようなシステムは、わずかな学習例しか与えられない多様なタスクに対し、効果的に一般化できるか？
• RQ3 チューナブルなマイクロステートダイナミクスを持つ物理的に異なるナノ磁性アレイを接続することで、単一システムのニューロモルフィックデバイスよりも豊かで非退化したダイナミクスが実現できるか？
• RQ4 物理的PNNの性能は、少サンプル学習のシナリオにおいてソフトウェアベースのエコー状態ネットワークと比べてどうか？
• RQ5 1つの接続行列を用いてオンザフライ再構成可能なMAMLベースのメタラーニングは、物理的システムにおいて効果的に実装可能か？

主な発見

• 多層物理的ニューラルネットワークは、相互接続されたナノ磁性アレイからの高次元ダイナミクスを活用することで、強力な少サンプル学習性能を達成する。
• MAMLベースのメタラーニングにより、未学習のタスクへの迅速な適応が実現され、システム次元が増加するに従い性能が著しく向上する。
• 物理的ノードの多様性に起因するより豊かな非退化ダイナミクスのおかげで、特に高次元領域においてソフトウェアベースのESNsを上回る性能を示す。
• トレーニング可能なスケーリングパラメータ $ \alpha_i $ の導入により、重みの大きさと方向の分離が有効に実現され、学習の安定性と一般化性能が向上する。
• 特徴量選択の順序にかかわらず性能が一貫しており、10回のランダムシャッフルによる結果の安定性から、本手法の信頼性が裏付けられる。
• 結果から、十分なアーキテクチャ的多様性と相互接続性を備えた物理的ニューロモルフィックシステムは、過パラメータ化領域にアクセス可能であると示唆される。