[논문 리뷰] Toward bio-inspired information processing with networks of nano-scale switching elements

Zoran Konkoli, Göran Wendin|arXiv (Cornell University)|2013. 11. 25.

Advanced Memory and Neural Computing참고 문헌 46인용 수 3

한 줄 요약

이 논문은 메모리스터와 같은 나노스케일 스위칭 요소의 네트워크를 사용하여 스케일러블 정보 처리를 위한 생물학적으로 영감을 받은 프레임워크인 리저보아르 컴퓨팅(RC)을 제안한다. 이는 비선형성과 과거에 의존하는 역동성을 활용하여 입력 신호를 혼합하고 변환하는 동적 리저보아르를 생성한다. 주요 기여는 이러한 네트워크가 내부 연결을 학습하지 않고도 고용량 계산 기반 자료로 기능할 수 있음을 입증한 것이다. 이는 대신 읽기 출력 레이어만 학습하는 데 의존한다.

ABSTRACT

Unconventional computing explores multi-scale platforms connecting molecular-scale devices into networks for the development of scalable neuromorphic architectures, often based on new materials and components with new functionalities. We review some work investigating the functionalities of locally connected networks of different types of switching elements as computational substrates. In particular, we discuss reservoir computing with networks of nonlinear nanoscale components. In usual neuromorphic paradigms, the network synaptic weights are adjusted as a result of a training/learning process. In reservoir computing, the non-linear network acts as a dynamical system mixing and spreading the input signals over a large state space, and only a readout layer is trained. We illustrate the most important concepts with a few examples, featuring memristor networks with time-dependent and history dependent resistances.

연구 동기 및 목표

• 지역적으로 연결된 나노스케일 스위칭 요소의 네트워크가 비전통적인 계산 기반 자료로써의 계산 잠재력을 탐구하기 위해.
• 내부 시냅스 가중치를 학습하지 않고도 읽기 출력 레이어만 학습하는 방식인 리저보아르 컴퓨팅(RC)을 패러다임으로 삼기 위해.
• 시간과 역사에 따라 변하는 저항을 가지는 메모리스터 네트워크가 동적 시스템으로서의 계산 용량을 평가하기 위해.
• 고품질 리저보아르 행동을 나타내는 측정 가능한 네트워크 수준의 특성—예를 들어, 고조파 생성 또는 상관 함수—를 식별하기 위해.
• 나노재료로 구성된 유기 트랜지스터와 功能화된 나노입자 네트워크를 이용한 나노공정 기반 시스템을 통해 뉴로모픽 컴퓨팅과 분자 스케일 구성 요소를 연결하기 위해.

제안 방법

• 특히 과거에 의존하는 저항을 가지는 메모리스터를 포함한 비선형 나노스케일 스위칭 요소의 네트워크를 핵심 계산 기반 자료로 사용한다.
• 리저보아르 컴퓨팅 원리를 적용한다: 입력 신호는 고정된 비선형 동적 시스템(리저보아르)에 공급되며, 이는 이를 고차원 상태 공간으로 변환한다.
• 리저보아르 상태에서 관련 정보를 추출하기 위해 학습 가능한 읽기 출력 레이어를 사용하여 내부 연결을 학습할 필요 없이 처리한다.
• 비선형 주파수 응답 함수를 분석하여 리저보아르의 품질을 평가한다. 출력이 지연된 입력의 선형 조합에서 벗어나는지 테스트한다.
• 리저보아르 상태 역학의 실험적 대체 지표로 노드 간 전압 차이 또는 상관 함수(예: ⟨V_int,j(t′)V_int,i(t)⟩)를 제안한다.
• 비선형 복잡계에서 임계성, 상전이 및 혼돈 역학과의 이론적 연계를 통해 계산 용량을 평가한다.

실험 결과

연구 질문

• RQ1 기억 기능과 비선형성을 가지는 나노스케일 스위칭 요소의 네트워크가 정보 처리를 위한 효과적인 계산 기반 자료로 기능할 수 있는가?
• RQ2 메모리스터 네트워크의 비선형 주파수 응답이 고품질 리저보아르 행동을 나타내는 정도는 어느 정도인가?
• RQ3 내부 연결을 학습하지 않고도 이러한 네트워크의 계산 용량을 어떻게 정량화하고 최적화할 수 있는가?
• RQ4 어떤 측정 가능한 물리적 양(예: 전압 상관, 고조파 생성)이 리저보아르 상태 품질의 지표로 사용될 수 있는가?
• RQ5 나노스케일 구성 요소를 활용한 리저보아르 컴퓨팅이 기존 디지털 및 뉴로모픽 컴퓨팅의 스케일러비리티와 에너지 효율성 측면에서 가지는 제약을 극복할 수 있는가?

주요 결과

• 시간과 역사에 따라 변하는 저항을 가지는 메모리스터 네트워크는 리저보아르 컴퓨팅에 적합한 강력한 비선형 역동성을 보이며, 복잡한 신호 혼합과 변환을 가능하게 한다.
• 리저보아르가 지연된 입력의 선형 조합을 초월하는 비선형 주파수 응답을 생성할 수 있다는 점은 고품질의 동적 상태 생성 능력을 나타낸다.
• 고조파 생성 및 노드 간 고차 상관 함수는 리저보아르 품질과 계산 용량을 나타내는 실험적 지표로 제안된다.
• 이론적 분석에 따르면, 임계 행동에 가까운 상태와 혼돈 역학은 이러한 네트워크의 계산 용량을 향상시킬 수 있다.
• 리저보아르 컴퓨팅은 시냅스 가중치 학습의 복잡성을 리저보아르 역동성에서 분리함으로써 기존 뉴로모픽 아키텍처에 대한 강력한 대안을 제공한다.
• 유기 트랜지스터(NOMFET)와 분자 스위치를 갖춘 자가 조립 금 나노입자 네트워크를 포함한 나노공정 시스템이 실험적으로 타당함을 입증한다.