[論文レビュー] Superposed Episodic and Semantic Memory via Sparse Distributed Representation

Gerard Rinkus, Jasmin Léveillé|arXiv (Cornell University)|Oct 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 3

ひとこと要約

この論文では、スパース分散表現（SDRs）を用いてエピソード記憶と意味記憶を統合する階層的アソシエイティブメモリモデル、Sparseyを提案する。入力をスーパポジションに保存することで、コード空間におけるインターセクションとして入力空間における類似性が保持され、別途学習を要せず自然に生成的意味記憶モデルが形成される。初期の結果では、MNISTおよび動画認識タスクでCPU上で数分で学習が可能であるが、最先端の精度ではない。

ABSTRACT

The abilities to perceive, learn, and use generalities, similarities, classes, i.e., semantic memory (SM), is central to cognition. Machine learning (ML), neural network, and AI research has been primarily driven by tasks requiring such abilities. However, another central facet of cognition, single-trial formation of permanent memories of experiences, i.e., episodic memory (EM), has had relatively little focus. Only recently has EM-like functionality been added to Deep Learning (DL) models, e.g., Neural Turing Machine, Memory Networks. However, in these cases: a) EM is implemented as a separate module, which entails substantial data movement (and so, time and power) between the DL net itself and EM; and b) individual items are stored localistically within the EM, precluding realizing the exponential representational efficiency of distributed over localist coding. We describe Sparsey, an unsupervised, hierarchical, spatial/spatiotemporal associative memory model differing fundamentally from mainstream ML models, most crucially, in its use of sparse distributed representations (SDRs), or, cell assemblies, which admits an extremely efficient, single-trial learning algorithm that maps input similarity into code space similarity (measured as intersection). SDRs of individual inputs are stored in superposition and because similarity is preserved, the patterns of intersections over the assigned codes reflect the similarity, i.e., statistical, structure, of all orders, not simply pairwise, over the inputs. Thus, SM, i.e., a generative model, is built as a computationally free side effect of the act of storing episodic memory traces of individual inputs, either spatial patterns or sequences. We report initial results on MNIST and on the Weizmann video event recognition benchmarks. While we have not yet attained SOTA class accuracy, learning takes only minutes on a single CPU.

研究の動機と目的

• ディープラーニングにおけるエピソード記憶の無視を是正し、統一的なフレームワーク内でエピソード記憶と意味記憶を統合すること。
• 局所的符号化を用い、ネットワークとメモリ間で高いデータ移動を要する既存のメモリモジュールの限界を克服すること。
• スパース分散表現（SDRs）を活用し、入力の類似性をコード空間に保持する効率的で単一試行の学習を実現すること。
• エピソード記憶の保存がスーパポジションを通じて意味記憶が自然に生じることを示すこと。
• バックプロパゲーションや広範なトレーニングを必要とせず、標準ベンチマークで高速かつ自己教師あり学習を達成すること。

提案手法

• モデルはスパース分散表現（SDRs）、すなわち「細胞集合」を用いて、コード空間におけるインターセクションを通じて類似性を保持する方法で入力を符号化する。
• エピソード記憶は、階層的アソシエイティブメモリ構造内にスーパポジションとしてSDRsとして保存され、効率的な検索と類似性検出が可能になる。
• 学習ルールは、SDRsのインターセクションを通じて入力の類似性を直接コード空間の類似性にマップし、誤差逆伝播や別個の学習を不要にする。
• モデルは階層的かつ空間的／時空間的に動作し、静的パターンと時系列の両方を学習可能である。
• 意味記憶は、SDRsのインターセクションに保持される統計的構造のおかげで、エピソード記憶の保存の副産物として自然に生成される。
• システムは完全に自己教師ありであり、計算コストが低く、単一のCPU上で効率的に動作するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 スパース分散表現を用いた単一の学習フレームワーク内でエピソード記憶と意味記憶を統合できるか？
• RQ2 メモリ内でのSDRsのスーパポジションが、明示的な学習を要せず類似性を保った表現を可能にするか？
• RQ3 SDRsのインターセクションに基づく単一試行学習アルゴリズムが、効果的な意味一般化を達成できるか？
• RQ4 バックプロパゲーションやGPUアクセcelerationを用いずに、MNISTや動画イベント認識などの標準ベンチマークでモデルの性能はどの程度か？
• RQ5 SDRsのスーパポジションによるエピソード記憶の保存によって、意味記憶がどの程度自然に生じるか？

主な発見

• モデルはMNISTおよびWeizmann動画イベント認識ベンチマークで、単一のCPU上で数分で学習を達成する。
• SDRsのインターセクションの類似性保持特性のおかげで、意味記憶がエピソード記憶の保存の自然な副産物として生じる。
• モデルはSDRsを用いて入力をスーパポジションに保存し、モジュール間のデータ移動を伴わず、効率的で単一試行の学習を実現する。
• コード空間におけるインターセクションに基づく類似性により、入力データのすべての順序の統計的構造が保持される。
• 最先端の精度に達していないものの、エピソード記憶と意味記憶を統合する計算的に効率的な自己教師あり学習メカニズムを示している。