[논문 리뷰] Connectionist-Symbolic Machine Intelligence using Cellular Automata based Reservoir-Hyperdimensional Computing

Özgür Yılmaz|arXiv (Cornell University)|2015. 03. 03.

Neural Networks and Reservoir Computing참고 문헌 79인용 수 9

한 줄 요약

이 논문은 초차원 계산에서 저장소로 세포자동기(CA)를 사용하는 새로운 연결주의-기호적 기계지능 프레임워크를 제안한다. 입력을 CA의 초기 상태에 투영하고 결정론적 규칙에 따라 진화시킴으로써, 분산된 고차원 특징 벡터를 생성하며, 이는 장기적 단기 기억, 커널 학습, 기호 연산을 위한 부울 논리에 의해 효율적으로 수행될 수 있다. 이로써 기존의 에코 스테이트 네트워크보다 주어진 성능을 달성하기 위해 수개의 차수만큼 더 적은 계산량을 요구한다.

ABSTRACT

We introduce a novel framework of reservoir computing, that is capable of both connectionist machine intelligence and symbolic computation. Cellular automaton is used as the reservoir of dynamical systems. Input is randomly projected onto the initial conditions of automaton cells and nonlinear computation is performed on the input via application of a rule in the automaton for a period of time. The evolution of the automaton creates a space-time volume of the automaton state space, and it is used as the reservoir. The proposed framework is capable of long short-term memory and it requires orders of magnitude less computation compared to Echo State Networks. We prove that cellular automaton reservoir holds a distributed representation of attribute statistics, which provides a more effective computation than local representation. It is possible to estimate the kernel for linear cellular automata via metric learning, that enables a much more efficient distance computation in support vector machine framework. Also, binary reservoir feature vectors can be combined using Boolean operations as in hyperdimensional computing, paving a direct way for concept building and symbolic processing.

연구 동기 및 목표

• 연결주의-기호적 기계지능 프레임워크를 통합하는 하이브리드 프레임워크를 개발한다. 이는 저장소 계산, 세포자동기, 초차원 계산을 통합한다.
• 최소한의 학습을 통해 세포자동기를 동적 저장소로 사용하여 장기적 단기 기억과 효율적인 계산을 가능하게 한다.
• CA 저장소가 속성 통계의 분산 표현을 제공함으로써 국소 표현보다 계산적 효과성이 높다는 것을 입증한다.
• 기본적으로 이진 CA 특징 벡터에 부울 연산을 적용하여 기호 처리 및 개념 형성을 가능하게 한다.
• 기존의 에코 스테이트 네트워크에 비해 계산 비용을 감소시키면서도 순차적 및 분류 작업에서 성능을 유지하거나 향상시킬 수 있는가를 확인한다.

제안 방법

• 입력 데이터는 세포자동기의 초기 상태에 무작위로 투영되며, 고정된 규칙(예: 규칙 90 또는 110)에 따라 시간이 지남에 따라 진화하여 상태의 시공간 볼륨을 생성한다.
• 진화하는 상태 시퀀스는 입력 속성의 통계를 반영하는 고차원 저장소 특징 벡터를 형성한다.
• 역행렬 기반의 회귀를 사용하여 읽기층을 학습시켜, 최소한의 계산으로 분류 및 시퀀스 예측을 가능하게 한다.
• 커널 학습을 위해 척도 학습을 선형 CA 저장소에 적용하여 서포트 벡터 머신을 위한 효율적인 거리 척도를 추정한다.
• 기본적으로 이진 CA 특징 벡터에 부울 연산(예: XOR, AND)을 적용하여 기호 처리 및 개념 형성 기능을 가능하게 한다.
• 각 클래스별로 CA 특징 벡터를 평균화하고 부호 기반 벡터 덧셈을 사용하여 컨셉터를 형성함으로써, 최대 내적 유사도 기반 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 세포자동기가 장기적 단기 기억 기능을 갖춘 연결주의 기계지능을 위한 효과적이고 저복잡도의 저장소로 기능할 수 있는가?
• RQ2 CA 저장소 내에서 속성 통계의 분산 표현이 국소 표현보다 계산 효율성과 정확도 면에서 뛰어난가?
• RQ3 선형 세포자동기에서 척도 학습을 효과적으로 적용하여 서포트 벡터 머신에서 효율적인 커널 계산을 가능하게 할 수 있는가?
• RQ4 이진 CA 특징 벡터에 대한 부울 연산이 기호 처리 및 개념 형성에 얼마나 효과적으로 기여하는가?
• RQ5 CA 기반 저장소가 기존의 에코 스테이트 네트워크에 비해 훨씬 낮은 계산 비용으로 동일하거나 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• CA 저장소 프레임워크는 순차적 작업(예: 5비트 및 20비트 메모리 작업)에서 기존의 에코 스테이트 네트워크보다 수개의 차수만큼 더 낮은 계산량을 요구하면서도 뛰어난 성능을 유지한다.
• CA 저장소 내에서 속성 통계의 분산 표현은 비교 실험을 통해 국소 표현보다 더 효과적인 계산을 가능하게 한다.
• 척도 학습을 통해 서포트 벡터 머신에서 효율적인 커널 계산이 가능해져, CA 기반 프레임워크에서의 거리 계산 비용을 감소시킨다.
• 이진 CA 특징 벡터에 대한 부울 연산을 통해 직접적인 기호 처리가 가능해져 개념 형성과 논리적 추론이 가능해진다.
• MNIST 데이터셋에서 CA 기반 방법은 훨씬 낮은 계산 복잡도로 경쟁 수준의 분류 정확도를 달성한다.
• CIFAR-10 실험에서는 이진화된 신경망 활성화에서 유도된 CA 특징를 사용하여 선형 및 RBF SVM에서 높은 분류 정확도를 달성했으며, 컨셉터 기반 분류에서는 20회의 시행 전반에 걸쳐 뛰어난 성능을 보였다.