[논문 리뷰] Cellular Automata Can Reduce Memory Requirements of Collective-State Computing

Denis Kleyko, E. Paxon Frady외 1명|arXiv (Cornell University)|2020. 10. 07.

Advanced Memory and Neural Computing참고 문헌 68인용 수 18

한 줄 요약

이 논문은 집단 상태 계산에서 큰 수의 사전 계산된 무작위 패턴을 저장할 필요 없이, 고차원의 랜덤 벡터를 필요에 따라 생성하기 위해 기본적인 세포자동자 규칙 90 (CA90)을 사용하는 것을 제안한다. 짧은 시드 패턴을 CA90를 통해 확장함으로써, 메모리 절약을 달성하면서도 의사수직성과 유사성을 유지한다. 이는 고전적인 모델과 유사한 성능을 보이며, 메모리 사용을 크게 줄인 리저보아르 커플리팅 및 벡터 심볼릭 아키텍처에서 입증되었다.

ABSTRACT

Various non-classical approaches of distributed information processing, such as neural networks, computation with Ising models, reservoir computing, vector symbolic architectures, and others, employ the principle of collective-state computing. In this type of computing, the variables relevant in a computation are superimposed into a single high-dimensional state vector, the collective-state. The variable encoding uses a fixed set of random patterns, which has to be stored and kept available during the computation. Here we show that an elementary cellular automaton with rule 90 (CA90) enables space-time tradeoff for collective-state computing models that use random dense binary representations, i.e., memory requirements can be traded off with computation running CA90. We investigate the randomization behavior of CA90, in particular, the relation between the length of the randomization period and the size of the grid, and how CA90 preserves similarity in the presence of the initialization noise. Based on these analyses we discuss how to optimize a collective-state computing model, in which CA90 expands representations on the fly from short seed patterns - rather than storing the full set of random patterns. The CA90 expansion is applied and tested in concrete scenarios using reservoir computing and vector symbolic architectures. Our experimental results show that collective-state computing with CA90 expansion performs similarly compared to traditional collective-state models, in which random patterns are generated initially by a pseudo-random number generator and then stored in a large memory.

연구 동기 및 목표

• 사전에 저장된 i.i.d. 무작위 벡터의 집합을 저장하는 데 의존하는 집단 상태 계산 모델의 메모리 요구량을 줄이기 위해.
• 세포자동자 규칙 90 (CA90)이 표준 무작위 패턴과 기능적으로 동일한 의사수직성과 유사성을 유지하는 분산 표현을 생성할 수 있는지 조사하기 위해.
• 리저보아르 커플리팅 및 벡터 심볼릭 아키텍처와 같은 실용적 모델에서 사전 저장된 무작위 패턴을 CA90로 생성된 확장으로 대체할 수 있는지 타당성 평가하기 위해.
• 노이즈가 있는 시드 패턴이 있는 경우 CA90의 무작위화 행동, 특히 주기 길이와 오차 전파를 분석하기 위해.

제안 방법

• 규칙를 반복 적용하여 짧은 무작위 시드 패턴을 전체 차원의 고차원 벡터로 확장함으로써 CA90를 사용하는 방법.
• 메모리 절약을 위해 사전에 저장하는 대신, CA90를 사용해 실시간으로 분산 표현을 생성함으로써 메모리-계산의 상호 교환 가능성을 확보하는 방법.
• 정규화된 하밍 거리(dh)와 내적(dd)를 사용하여 CA90로 확장된 벡터 간의 유사도를 측정함으로써 의사수직성을 평가하는 방법.
• 리저보아르 커플리팅 및 벡터 심볼릭 아키텍처에서 성능을 평가하기 위해, CA90로 확장된 표현을 의사난수 생성기로부터 생성된 표현과 비교하는 방법.
• 그리드 크기의 함수로 CA90의 무작위화 주기를 분석함으로써, 특히 소수성과 같은 수론적 성질에 대한 의존성을 조사하는 방법.
• 초기 시드 패턴에 노이즈가 포함된 경우 CA90 확장에서 오차 전파를 평가하며, 특히 2의 거듭제곱(2^j) 단계에 초점을 맞추는 방법.

실험 결과

연구 질문

• RQ1 CA90의 그리드 크기와 그의 무작위화 주기 길이 사이의 관계는 무엇인가?
• RQ2 초기 시드에 노이즈 또는 오류가 포함되어 있을 경우 CA90가 표현 간의 유사성을 어떻게 유지하는가?
• RQ3 CA90로 생성된 표현은 집단 상태 계산 모델에서 사전 저장된 무작위 패턴과 기능적으로 동일한 성능을 달성할 수 있는가?
• RQ4 오차 누적을 최소화하기 위한 최적의 확장 단계(예: 2의 거듭제곱)는 무엇인가?
• RQ5 특히 소수 크기와 2의 거듭제곱 크기의 선택이 CA90 기반 표현의 성능 및 안정성에 미치는 영향은 무엇인가?

주요 결과

• CA90의 무작위화 주기는 그리드 크기와 밀접하게 관련되어 있으며, 수론적 성질(예: 소수성)에 따라 달라진다: 소수 크기의 그리드는 가장 긴 주기를 가지며, 2의 거듭제곱(2^j)은 가장 짧은 주기를 가진다.
• CA90는 비균일한 오차 전파를 유도하며, 특히 2의 거듭제곱(2^j) 단계에서 가장 낮은 오차율을 보이며, 이는 노이즈를 최소화하기 위한 최적의 단계로 간주된다.
• CA90로 확장된 표현은 리저보아르 커플리팅 및 벡터 심볼릭 아키텍처 양쪽 모두에서 표준 무작위 패턴과 충분한 의사수직성과 유사성을 유지하여 기능적으로 동일한 성능을 달성한다.
• CA90 확장을 사용하는 집단 상태 모델의 성능은 사전 저장된 무작위 패턴을 사용하는 모델과 유사하여, 메모리-계산의 상호 교환 가능성이 검증된다.
• 짧은 시드 패턴만 저장하고 이를 CA90로 확장함으로써 상당한 메모리 절감이 가능하며, 복원 정확도에 미치는 영향은 최소한이다.
• CA90를 사용하면 고차원 표현을 필요에 따라 생성할 수 있어, 대규모 메모리 오버헤드 없이 동적이고 확장 가능한 집단 상태 계산을 지원한다.