[논문 리뷰] Reservoir Computing using Stochastic p-Bits

Samiran Ganguly, Kerem Y. Çamsarı외 1명|arXiv (Cornell University)|2017. 09. 29.

Neural Networks and Reservoir Computing참고 문헌 1인용 수 8

한 줄 요약

이 논문은 부드러운 자성체, 스핀오르빗 재료, 그리고 CMOS 트랜지스터를 기반으로 하는 나노스케일 장치인 스토하스틱 p-비트를 사용하여 리저보아르 컴퓨팅을 위한 하드웨어 프레임워크를 제안한다. 이는 효율적이고 비-바르너만 아키텍처의 시간적 추론을 가능하게 한다. 시스템은 내재된 스토하스틱 역학을 통해 패턴 인식 및 시퀀스 처리에서 높은 성능을 달성하며, IoT, 자율 주행 시스템, 센서 네트워크 등에 저전력 통합을 위한 길을 열어준다.

ABSTRACT

We present a general hardware framework for building networks that directly implement Reservoir Computing, a popular software method for implementing and training Recurrent Neural Networks and are particularly suited for temporal inferencing and pattern recognition. We provide a specific example of a candidate hardware unit based on a combination of soft-magnets, spin-orbit materials and CMOS transistors that can implement these networks. Efficient non von-Neumann hardware implementation of reservoir computers can open up a pathway for integration of temporal Neural Networks in a wide variety of emerging systems such as Internet of Things (IoTs), industrial controls, bio- and photo-sensors, and self-driving automotives.

연구 동기 및 목표

• 시간적 신경망 추론을 위한 에너지 효율적이고 비-바르너만 아키텍처의 하드웨어 필요를 해결한다.
• 리저보아르 컴퓨팅을 IoT, 산업 제어장치, 자율 주행 차량과 같은 실세계 시스템에 실용적으로 구현할 수 있도록 한다.
• 스토하스틱 p-비트를 사용하여 나노자기체 및 스핀트로닉스 재료를 활용한 리저보아르 컴퓨팅의 물리적 실현을 개발한다.
• 스토하스틱 p-비트가 명시적 학습 없이도 리저보아르 기능을 자연스럽게 실현할 수 있음을 입증하여 하드웨어 복잡성을 감소시킨다.
• 미래 컴퓨팅 시스템에 리저보아르 컴퓨팅을 통합하기 위한 확장 가능하고 CMOS 호환 아키텍처를 제공한다.

제안 방법

• 스토하스틱하게 상태를 뒤집는 나노스케일 자기 장치인 스토하스틱 p-비트를 사용하여 리저보아르 노드를 구성한다.
• 부드러운 자성체 요소와 스핀오르빗 토크 재료를 통합하여 p-비트의 제어적이고 에너지 효율적인 스위칭을 가능하게 한다.
• CMOS 트랜지스터를 사용하여 p-비트 상태를 읽고 조절함으로써 디지털 처리 장치와의 인터페이스를 구현한다.
• 입력 신호가 개별 p-비트의 스위칭 확률을 조절하는 방식으로, 무작위로 연결된 p-비트 네트워크로 리저보아르를 설계한다.
• p-비트의 내재된 노이즈와 동역학을 활용하여 시간 입력에 대해 풍부하고 고차원적인 상태 궤적을 생성한다.
• 리저보아르가 고정되어 있고 학습되지 않은 상태에서, 읽기층(일반적으로 선형 분류기)만 표준 학습 규칙을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 스토하스틱 p-비트를 사용하여 명시적 리저보아르 학습 없이도 기능적인 리저보아르 컴퓨팅 시스템을 실현할 수 있는가?
• RQ2 p-비트 기반 리저보아르는 시간 패턴 인식 및 시퀀스 처리 작업에서 얼마나 잘 성능을 내는가?
• RQ3 기존의 바르너만 아키텍처에 비해 p-비트로 구성된 하드웨어 리저보아르의 에너지 효율성과 확장성은 어떠한가?
• RQ4 p-비트의 스토하스틱 역학이 효과적인 시간 컴퓨팅을 위해 필요한 고차원 상태 공간을 자연스럽게 생성할 수 있는가?
• RQ5 확장 가능한, CMOS 호환 리저보아르 컴퓨팅 플랫폼을 실현하기 위해 필요한 핵심 하드웨어 구성요소와 통합 전략는 무엇인가?

주요 결과

• 제안된 p-비트 리저보아르는 오직 학습된 읽기층만을 사용하여 효과적인 시간 패턴 인식 및 시퀀스 처리를 달성하였으며, 학습되지 않은 리저보아르의 가능성을 입증한다.
• p-비트의 스토하스틱 성질이 복잡한 학습 없이도 리저보아르 컴퓨팅에 필수적인 풍부하고 고차원적인 상태 역학을 생성함을 확인하였다.
• 하드웨어 설계는 CMOS 기술과 호환되어 기존 반도체 제조 공정에 통합될 수 있다.
• p-비트 동역학의 비-바르너만 및 이벤트 기반 성격 덕분에 초저전력 동작 가능성이 확인되었다.
• IoT, 웨어러블 센서, 자율 주행 차량과 같은 에너지 제약이 있는 시스템에 대한 확장 가능한 구현을 지원한다.
• 이론적 분석과 시뮬레이션 결과는 p-비트 리저보아르가 에너지 효율성과 면적 스케일링 측면에서 기존 리저보아르를 능가할 수 있음을 확인하였다.