[논문 리뷰] Neuromorphic Overparameterisation and Few-Shot Learning in Multilayer Physical Neural Networks

Kilian D. Stenning, Jack C. Gartside외 11명|arXiv (Cornell University)|2022. 11. 11.

Neural Networks and Reservoir Computing인용 수 8

한 줄 요약

이 논문은 상호 연결된 나노자기 배열을 사용하여 뉴로모르픽 과다파rameter화와 소수의 예시 학습을 달성하는 다층 물리적 신경망(PNN) 아키텍처를 제안한다. 다양한 마이크로상태 공간과 기하구조를 설계하고, 병렬 및 직렬 구성으로 다수의 물리적 노드를 연결함으로써 고차원의 동역학을 확보하여 최소한의 데이터로 메타학습을 가능하게 하며, 특히 MAML 기반 적응을 통해 빠른 실시간 재구성 기능을 통해 다양한 작업 간 강력한 일반화 성능을 보인다.

ABSTRACT

Physical neuromorphic computing, exploiting the complex dynamics of physical systems, has seen rapid advancements in sophistication and performance. Physical reservoir computing, a subset of neuromorphic computing, faces limitations due to its reliance on single systems. This constrains output dimensionality and dynamic range, limiting performance to a narrow range of tasks. Here, we engineer a suite of nanomagnetic array physical reservoirs and interconnect them in parallel and series to create a multilayer neural network architecture. The output of one reservoir is recorded, scaled and virtually fed as input to the next reservoir. This networked approach increases output dimensionality, internal dynamics and computational performance. We demonstrate that a physical neuromorphic system can achieve an overparameterised state, facilitating meta-learning on small training sets and yielding strong performance across a wide range of tasks. Our approach's efficacy is further demonstrated through few-shot learning, where the system rapidly adapts to new tasks.

연구 동기 및 목표

• 기존의 뉴로모르픽 시스템에서 출력 차원의 제한과 제한된 동역학으로 인해 성능과 유연성이 제약을 받는 문제를 해결하기 위해.
• 다수의 물리적 노드를 상호연결하여 시스템의 차원을 증가시킴으로써 물리적 뉴로모르픽 계산에서 과다파라미터라이제이션 영역을 실현하기 위해.
• 조정 가능한 나노자기 배열의 네트워크 아키텍처를 사용하여 물리적 시스템에서 메타학습과 소수의 예시 학습을 실현하기 위해.
• 단일 연결 행렬과 MAML 기반 최적화를 사용하여 새로운 작업에 대해 실시간으로 재구성 가능한 빠른 적응을 실현하기 위해.
• 소프트웨어 기반 에코스테이트 네트워크(ESNs)와의 성능 비교를 통해 접근법의 타당성을 검증하여 물리적 구현에서의 우수한 확장성과 강건성을 입증하기 위해.

제안 방법

• 각 노드는 조절 가능한 마이크로상태 공간과 기하구조를 가진 별개의 물리적 시스템인 다층 나노자기 배열의 네트워크 아키텍처를 사용한다.
• 병렬, 직렬 및 다층 구성으로 상호연결을 구현함으로써 고차원의 비퇴도 동역학과 집단 처리 기능을 실현한다.
• 각 노드의 출력 활성도는 $ y_i(t) = \alpha_i \mathbf{w}_i \mathbf{o}(t) $ 로 모델링되며, $ \alpha_i $ 는 가중치 벡터 $ \mathbf{w}_i $ 를 스케일링하여 크기와 방향 파ram터의 분리된 학습을 가능하게 한다.
• 메타학습은 MAML 알고리즘을 사용하며, $ \alpha_i $ 는 작업별로 업데이트(내부 루프)되고 $ \mathbf{w}_i $ 는 메타목표에 따라 업데이트(외부 루프)되어 빠른 적응이 가능하다.
• 시스템은 전체 PNN에서 순차적으로 선택된 특징의 부분집합을 기반으로 Adam 최적화기로 학습되며, 성능은 10번의 무작위 특징 섞기 반복 평균을 통해 강건성을 확보한다.
• 성능는 MSE를 손실 지표로 사용하고 다항식 피팅을 활용한 시각적 비교를 통해 소프트웨어 기반 ESN과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 다수의 물리적 뉴로모르픽 노드로 구성된 네트워크 아키텍처는 물리적 시스템에서 과다파라미터라이제이션 학습을 달성할 수 있는가?
• RQ2 이러한 시스템은 소수의 학습 예시만으로 다양한 작업 간 효과적으로 일반화할 수 있는가?
• RQ3 조절 가능한 마이크로상태 동역학을 가진 물리적으로 별개의 나노자기 배열을 상호연결함으로써 단일 시스템 뉴로모르픽 장치보다 더 풍부하고 퇴도하지 않는 동역학을 실현할 수 있는가?
• RQ4 소수의 예시 학습 시나리오에서 물리적 PNN의 성능는 소프트웨어 기반 에코스테이트 네트워크와 비교해 어떻게 나타나는가?
• RQ5 단일 연결 행렬을 사용하여 실시간 재구성 기능을 갖춘 물리적 시스템에서 MAML 기반 메타학습은 효과적으로 구현될 수 있는가?

주요 결과

• 다층 물리적 신경망은 상호연결된 나노자기 배열에서 유도된 고차원 동역학을 활용하여 강력한 소수의 예시 학습 성능를 달성한다.
• MAML 기반 메타학습을 통해 새로운 작업에 대한 빠른 적응이 가능하며, 시스템 차원이 증가할수록 성능가 증가하는 경향을 보인다.
• 물리적 노드의 다양성으로 인한 더 풍부하고 퇴도하지 않는 동역학 덕분에 소프트웨어 기반 ESN보다 성능이 뛰어나며, 특히 고차원 영역에서 두드러진다.
• 학습 가능한 스케일링 파ram터 $ \alpha_i $ 의 포함으로 가중치 크기와 방향의 효과적 분리가 가능해져 학습 안정성과 일반화 성능 향상이 이루어진다.
• 특징 선택 순서에 관계없이 일관된 결과를 보여 10번의 무작위 특징 섞기 반복에서도 성능이 안정적이며, 이는 방법의 신뢰성을 검증한다.
• 결과는 충분한 아키텍처 다양성과 상호연결성으로 설계된 물리적 뉴로모르픽 시스템이 과다파라미터라이제이션 영역에 접근할 수 있음을 시사한다.