[논문 리뷰] Deep Reservoir Computing Using Cellular Automata

Stefano Nichele, Andreas Molund|arXiv (Cornell University)|2017. 03. 08.

Neural Networks and Reservoir Computing인용 수 11

한 줄 요약

이 논문은 세포자동기(CA)를 저장소 기반으로 사용하는 딥 리저보아 계산 프레임워크를 제안하며, 5비트 메모리 작업에서 단일층 CA 저장소보다 두 층으로 구성된 CA 아키텍처가 성능을 크게 향상시킨다는 것을 입증한다. 이 시스템은 CA의 내재된 동역학을 활용해 시간적 처리를 수행하며, 계층적 처리를 통해 예측 정확도를 최대 53.4% 향상시켜, 저복잡도의 효율적인 시간 계산을 위한 딥 CA 기반 리저보아의 잠재력을 입증한다.

ABSTRACT

Recurrent Neural Networks (RNNs) have been a prominent concept within artificial intelligence. They are inspired by Biological Neural Networks (BNNs) and provide an intuitive and abstract representation of how BNNs work. Derived from the more generic Artificial Neural Networks (ANNs), the recurrent ones are meant to be used for temporal tasks, such as speech recognition, because they are capable of memorizing historic input. However, such networks are very time consuming to train as a result of their inherent nature. Recently, Echo State Networks and Liquid State Machines have been proposed as possible RNN alternatives, under the name of Reservoir Computing (RC). RCs are far more easy to train. In this paper, Cellular Automata are used as reservoir, and are tested on the 5-bit memory task (a well known benchmark within the RC community). The work herein provides a method of mapping binary inputs from the task onto the automata, and a recurrent architecture for handling the sequential aspects of it. Furthermore, a layered (deep) reservoir architecture is proposed. Performances are compared towards earlier work, in addition to its single-layer version. Results show that the single CA reservoir system yields similar results to state-of-the-art work. The system comprised of two layered reservoirs do show a noticeable improvement compared to a single CA reservoir. This indicates potential for further research and provides valuable insight on how to design CA reservoir systems.

연구 동기 및 목표

• 시간적 작업을 위한 리저보아 계산에서 세포자동기를 물리적 저장소 기반으로 사용할 수 있는지의 타당성을 탐색한다.
• 다중 CA 저장소를 스택형으로 구성한 딥 아키텍처가 단일 CA 저장소에 비해 계산 성능 향상에 기여하는지 조사한다.
• 다양한 CA 규칙과 시스템 파라미터가 메모리 작업 정확도에 미치는 영향을 평가한다.
• 제안된 CA 기반 리저보아 시스템의 성능을 최신 기술 수준의 리저보아 계산 방법과 비교한다.
• 순차적 처리 및 입력 매핑이 CA 저장소 동역학에서 수행하는 역할을 분석한다.

제안 방법

• 단일층 CA 저장소는 설정 가능한 규칙(예: 규칙 90, 150, 165)과 입력 차원(I, R)을 가진 이진 세포자동기를 사용하여 구현된다.
• 신규 입력 신호를 매 시간 단계에서 통합함으로써 순차적 입력을 처리할 수 있도록 순환 아키텍처를 설계하였으며, 조기 안착 상태를 방지하기 위해 XOR을 사용하지 않는 덧셈 방식을 적용하였다.
• 두 층의 저장소 아키텍처를 도입하여, 첫 번째 CA 저장소의 출력을 두 번째 CA 저장소의 입력으로 공급함으로써 계층적 처리를 가능하게 하였다.
• 입력 신호는 사전 정의된 매핑 전략을 사용하여 CA 격자에 매핑되었으며, 5비트 메모리 작업이 기준 성능 평가 작업으로 사용되었다.
• 선형 회귀 읽기 출력 계층을 학습시켜 저장소 상태 기반으로 정확한 출력을 예측하였으며, 성능은 예측 정확도로 측정되었다.
• 다양한 CA 규칙, 격자 크기(I, R), 그리고 간섭 주기(distractor periods)를 대상으로 평가하여 시스템의 강건성과 확장성을 분석하였다.

실험 결과

연구 질문

• RQ1 세포자동기가 시간적 작업을 위한 리저보아 계산에서 효과적인 저장소 기반으로 기능할 수 있는가?
• RQ2 두 개의 CA 저장소를 스택형으로 구성한 딥 아키텍처가 단일 CA 저장소에 비해 측정 가능한 성능 향상을 이끌 수 있는가?
• RQ3 어느 CA 규칙과 시스템 구성((예: 규칙 165, (I,R) = (4,4))이 5비트 메모리 작업에서 가장 높은 성능 향상을 이끌 수 있는가?
• RQ4 입력 매핑 전략과 순환 통합 방법의 선택이 시스템의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ5 두 층의 CA 저장소 시스템이 첫 번째 계층의 잘못된 예측를 수정할 수 있으며, 만약 가능하다면 어떤 조건에서 그러한 수정이 이루어지는가?

주요 결과

• 단일층 CA 저장소는 5비트 메모리 작업에서 최신 기술 수준의 리저보아 계산 시스템과 유사한 성능을 달성하였다.
• 두 층의 CA 저장소 시스템은 단일층 시스템보다 뚜렷한 성능 향상을 보였으며, 특히 (I,R) = (4,4)에서 규칙 165를 사용할 경우 최대 53.42%의 향상률을 기록하였다.
• 규칙 165는 다양한 구성에서 평균적으로 가장 높은 향상률을 보였으며, 예측 정확도 평균 향상률은 21.71%였다.
• 두 번째 저장소는 첫 번째 저장소가 간섭 주기 동안 안정된 안착 상태에 도달했을 경우의 잘못된 예측를 수정하는 데 기여하였다.
• 규칙 90과 (I,R) = (8,8) 조건에서 두 층의 저장소 시스템은 100%의 정확도를 달성하였으며, 이는 단일층 시스템의 최고 성능를 도달했지만 더 높은 강건성을 확보하였다.
• 결과적으로, 딥 CA 기반 리저보아는 특히 XOR 기반 통합을 피함으로써 조기 수렴을 방지함으로써 확장 가능하고 저복잡도의 시간 계산에 매우 큰 잠재력을 지닌 것으로 나타났다.