[논문 리뷰] Superposed Episodic and Semantic Memory via Sparse Distributed Representation

Gerard Rinkus, Jasmin Léveillé|arXiv (Cornell University)|2017. 10. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 3

한 줄 요약

이 논문은 희박 분산 표현(SDRs)를 사용하여 경험적 기억과 의미적 기억을 통합하는 계층적 연상 기억 모델인 Sparsey를 제안한다. 입력을 슈퍼포지션 내에서 SDR로 저장함으로써, 입력 공간의 유사성이 코드 공간의 교차로 유지되며, 별도의 훈련 없이 자연스럽게 생성 모델이 되는 단일 시도 학습이 가능해진다. 初기 결과는 MNIST 및 비디오 인식 작업에서 CPU에서 몇 분 내로 빠른 학습을 보여주지만, 최첨단 정확도는 달성하지 못한다.

ABSTRACT

The abilities to perceive, learn, and use generalities, similarities, classes, i.e., semantic memory (SM), is central to cognition. Machine learning (ML), neural network, and AI research has been primarily driven by tasks requiring such abilities. However, another central facet of cognition, single-trial formation of permanent memories of experiences, i.e., episodic memory (EM), has had relatively little focus. Only recently has EM-like functionality been added to Deep Learning (DL) models, e.g., Neural Turing Machine, Memory Networks. However, in these cases: a) EM is implemented as a separate module, which entails substantial data movement (and so, time and power) between the DL net itself and EM; and b) individual items are stored localistically within the EM, precluding realizing the exponential representational efficiency of distributed over localist coding. We describe Sparsey, an unsupervised, hierarchical, spatial/spatiotemporal associative memory model differing fundamentally from mainstream ML models, most crucially, in its use of sparse distributed representations (SDRs), or, cell assemblies, which admits an extremely efficient, single-trial learning algorithm that maps input similarity into code space similarity (measured as intersection). SDRs of individual inputs are stored in superposition and because similarity is preserved, the patterns of intersections over the assigned codes reflect the similarity, i.e., statistical, structure, of all orders, not simply pairwise, over the inputs. Thus, SM, i.e., a generative model, is built as a computationally free side effect of the act of storing episodic memory traces of individual inputs, either spatial patterns or sequences. We report initial results on MNIST and on the Weizmann video event recognition benchmarks. While we have not yet attained SOTA class accuracy, learning takes only minutes on a single CPU.

연구 동기 및 목표

• 딥 러닝에서 경험적 기억에 대한 집중 부족을 해결하기 위해 의미적 기억과 통합된 단일 프레임워크 내에서 경험적 기억을 통합하고자 한다.
• 지역적 코딩을 사용하고 네트워크와 기억 간의 높은 데이터 이동을 요구하는 기존 기억 모듈의 한계를 극복하고자 한다.
• 효율적이고 단일 시도 학습이 가능한 희박 분산 표현(SDRs)을 활용하여 입력 유사성을 코드 공간에서 유지하고자 한다.
• 의미적 기억이 슈퍼포지션을 통한 경험적 기억 저장 과정에서 자연스럽게 유도된다는 것을 보여주고자 한다.
• 과도한 훈련이 필요 없이 표준 벤치마크에서 빠르고 비지도 학습을 달성하고자 한다.

제안 방법

• 모델는 입력을 코드 공간에서의 교차를 통해 유사성을 유지하는 방식으로, 희박 분산 표현(SDRs), 즉 '세포 집합'을 사용하여 인코딩한다.
• 경험적 기억은 계층적 연상 기억 구조 내에서 슈퍼포지션에 의해 SDR로 저장되어, 효율적인 검색과 유사도 탐지가 가능해진다.
• 학습 규칙은 SDR의 교차를 통해 입력 유사성을 직접 코드 공간의 유사성으로 매핑함으로써, 역전파나 별도의 훈련이 필요 없도록 한다.
• 모델는 계층적이고 공간적/시공간적인 방식으로 작동하여 정적 패턴과 시간적 순서를 모두 학습할 수 있다.
• 의미적 기억은 SDR 교차에 의해 유지되는 통계적 구조 덕분에 경험적 기억 저장의 무료 부산물로 자연스럽게 생성된다.
• 시스템은 완전히 비지도이며, 저연산 비용을 고려해 단일 CPU에서 효율적으로 작동하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 희박 분산 표현을 사용하여 경험적 기억과 의미적 기억을 단일 학습 프레임워크 내에서 통합할 수 있는가?
• RQ2 기억 내 SDR의 슈퍼포지션은 명시적 훈련 없이도 유사성 유지 표현을 가능하게 하는가?
• RQ3 SDR 교차에 기반한 단일 시도 학습 알고리즘이 효과적인 의미적 일반화를 달성할 수 있는가?
• RQ4 역전파나 GPU 가속 없이도 표준 벤치마크인 MNIST 및 비디오 이벤트 인식에서 모델의 성능은 어떠한가?
• RQ5 SDR 슈퍼포지션을 통한 경험적 기억 저장 과정에서 의미적 기억이 얼마나 자연스럽게 유도되는가?

주요 결과

• 모델는 MNIST 및 Weizmann 비디오 이벤트 인식 벤치마크에서 단일 CPU에서 몇 분 내로 매우 빠른 학습을 달성한다.
• SDR 교차의 유사성 유지 특성 덕분에 의미적 기억이 경험적 기억 저장의 자연스러운 부산물로 나타난다.
• 모델는 입력을 슈퍼포지션에 저장하기 위해 희박 분산 표현을 사용하여, 모듈 간 데이터 이동 없이 효율적이고 단일 시도 학습이 가능해진다.
• 코드 공간에서의 교차 기반 유사성으로 인해 입력 데이터의 모든 차수의 통계적 구조가 유지된다.
• 최첨단 정확도에 도달하지 못하더라도, 경험적 기억과 의미적 기억을 통합하는 데에 효율적이고 비지도 학습 메커니즘을 보여준다.