[논문 리뷰] Reservoir Computing Hardware with Cellular Automata

Alejandro Morán, Christiam F. Frasser외 1명|arXiv (Cornell University)|2018. 06. 13.

Neural Networks and Reservoir Computing참고 문헌 25인용 수 7

한 줄 요약

이 논문은 정확도와 단순성의 최적 균형을 보이는 규칙 90을 선택하여, 기본 세포 자동기계(ECA) 규칙을 사용하는 하드웨어 효율적인 리저보아르 커파이팅(RC) 시스템을 제안한다. 이 방법은 XOR 기반 디지털 회로와 시프트 레지스터를 활용하여 FPGA에 저전력, 고속의 RC 분류기 구현을 구현하며, MNIST에서 98.08%의 정확도, 0.02ms의 지연, 0.289W의 전력 소비를 달성하여 이전의 CNN 기반 FPGA 구현보다 속도와 에너지 효율성에서 뛰어나다.

ABSTRACT

Elementary cellular automata (ECA) is a widely studied one-dimensional processing methodology where the successive iteration of the automaton may lead to the recreation of a rich pattern dynamic. Recently, cellular automata have been proposed as a feasible way to implement Reservoir Computing (RC) systems in which the automata rule is fixed and the training is performed using a linear regression. In this work we perform an exhaustive study of the performance of the different ECA rules when applied to pattern recognition of time-independent input signals using a RC scheme. Once the different ECA rules have been tested, the most accurate one (rule 90) is selected to implement a digital circuit. Rule 90 is easily reproduced using a reduced set of XOR gates and shift-registers, thus representing a high-performance alternative for RC hardware implementation in terms of processing time, circuit area, power dissipation and system accuracy. The model (both in software and its hardware implementation) has been tested using a pattern recognition task of handwritten numbers (the MNIST database) for which we obtained competitive results in terms of accuracy, speed and power dissipation. The proposed model can be considered to be a low-cost method to implement fast pattern recognition digital circuits.

연구 동기 및 목표

• 정적 이미지 입력을 위한 패턴 인식에서 모든 256개의 ECA 규칙의 성능을 리저보아르 커파이팅(RC) 프레임워크에서 평가하기 위해.
• 디지털 회로 구현에 가장 정확도가 높고 하드웨어 효율성이 뛰어난 ECA 규칙을 식별하기 위해.
• 실시간 이미지 분류를 위한 FPGA에 규칙 90을 사용하여 저전력, 고속의 RC 하드웨어 시스템을 설계하고 구현하기 위해.
• 정확도, 지연, 전력 소비, 자원 사용량 측면에서 기존의 CNN 기반 FPGA 구현과 제안된 ReCA 시스템을 비교하기 위해.

제안 방법

• RC 프레임워크는 고정된 ECA 규칙(90)을 리저보아르로 사용하며, 입력 신호가 자동기계의 상태를 초기화하고 출력층 가중치는 선형 회귀를 통해 학습된다.
• 규칙 90은 XOR 게이트와 시프트 레지스터를 사용하여 구현되며, 고정된 경계 조건을 갖는 최소한의 고속 디지털 회로를 가능하게 한다.
• 시스템은 MNIST 이미지를 처리하기 위해 행과 열 각각에 대해 규칙 90을 독립적으로 적용하여 시공간 리저보아르 상태를 생성한다.
• 최대 풀링 레이어는 2×2 픽셀 블록을 그 최댓값으로 압축하며, 이는 반복 동안 가중치를 적용하고 누적하여 최종 출력을 형성한다.
• 출력 레이어는 선형 회귀를 통해 리저보아르 상태에 기반하여 학습되는 소프트맥스 회귀를 사용한다.
• 전체 시스템은 알테라 사이클론 V FPGA에 구현되었으며, 8비트 고정점 정밀도를 사용하고 저전력 및 고스루풋을 최적화하였다.

실험 결과

연구 질문

• RQ1 정적 이미지 입력을 위한 리저보아르 커파이팅 환경에서 어떤 ECA 규칙이 가장 높은 분류 정확도를 보이는가?
• RQ2 FPGA 구현에서 ECA 기반 RC의 하드웨어 복잡성과 성능은 전통적인 CNN과 비교해 어떻게 되는가?
• RQ3 규칙 90은 디지털 논리에서 효율적으로 구현될 수 있는가, 이를 통해 저전력, 고속의 패턴 인식이 가능할 수 있는가?
• RQ4 제안된 ReCA 시스템에서 반복 횟수와 분류 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 정확도, 지연, 에너지 효율성 측면에서 제안된 ReCA 시스템은 최신의 CNN 하드웨어 구현과 비교해 어떻게 되는가?

주요 결과

• 모든 테스트된 ECA 규칙 중에서 규칙 90이 MNIST 숫자 인식을 위한 RC 프레임워크에서 가장 높은 분류 정확도(98.08%)를 기록하였다.
• ReCA 시스템은 FPGA에서 단지 0.020ms의 지연만을 보였으며, 이는 많은 이전의 CNN 기반 구현보다 뚜렷하게 빠른 속도를 의미한다.
• 시스템은 전력 소비가 단지 0.289W에 불과했으며, 다른 FPGA 기반 분류기와 비교해 뚜렷한 에너지 효율성 향상을 보였다.
• 구현에 단지 22.6K 개의 ALMs(플래그먼트의 20.5%)와 40개의 DSP 블록만을 사용하여 자원 효율성이 매우 높음을 입증하였다.
• 제안된 ReCA 시스템은 파워-디레이 제품(0.00578 mJ)에서 이전의 여러 CNN 기반 FPGA 구현을 능가하여 뛰어난 에너지 효율성을 보였다.
• 규칙 90의 사용은 세포당 하나의 XOR 게이트만으로도 충분한 최소한의 디지털 회로를 가능하게 하여 하드웨어 설계를 단순화하고 면적 및 전력 소비를 감소시켰다.