[論文レビュー] Convolutional Neural Associative Memories: Massive Capacity with Noise Tolerance

Amin Karbasi, Amir Hesam Salavati+1 more|arXiv (Cornell University)|Jul 24, 2014

Neural Networks and Applications参考文献 21被引用数 3

ひとこと要約

この論文は、パターンに内在する線形的冗長性を活用することで、指数的ストレージ容量を達成する畳み込みニューラルアソシエイティブメモリフレームワークを提案する。これにより、大規模データセットのノイズ耐性のあるリトリーブが可能になる。畳み込みアーキテクチャとスパarsityおよび部分空間制約を強制する反復的学習アルゴリズムを組み合わせることで、線形分の誤りを是正し、パターンサイズに応じて効率的にスケーリングする。

ABSTRACT

The task of a neural associative memory is to retrieve a set of previously memorized patterns from their noisy versions using a network of neurons. An ideal network should have the ability to 1) learn a set of patterns as they arrive, 2) retrieve the correct patterns from noisy queries, and 3) maximize the pattern retrieval capacity while maintaining the reliability in responding to queries. The majority of work on neural associative memories has focused on designing networks capable of memorizing any set of randomly chosen patterns at the expense of limiting the retrieval capacity. In this paper, we show that if we target memorizing only those patterns that have inherent redundancy (i.e., belong to a subspace), we can obtain all the aforementioned properties. This is in sharp contrast with the previous work that could only improve one or two aspects at the expense of the third. More specifically, we propose framework based on a convolutional neural network along with an iterative algorithm that learns the redundancy among the patterns. The resulting network has a retrieval capacity that is exponential in the size of the network. Moreover, the asymptotic error correction performance of our network is linear in the size of the patterns. We then ex- tend our approach to deal with patterns lie approximately in a subspace. This extension allows us to memorize datasets containing natural patterns (e.g., images). Finally, we report experimental results on both synthetic and real datasets to support our claims.

研究の動機と目的

• 指数的ストレージ容量を有するがノイズ耐性を維持するニューラルアソシエイティブメモリの設計。
• 大規模データセットに適した、到着するパターンをオンラインでストリーミング学習可能な仕組みの実現。
• 自然なパターン（低次元部分空間にほぼ位置するもの）を処理できるようにフレームワークを拡張すること。
• 構造化されたパターンに対して、情報理論的に最適なストレージ容量と誤り訂正性能を達成すること。

提案手法

• 局所的パターンの冗長性を活用するため、空間的場所間で重みを共有する畳み込みニューラルネットワークアーキテクチャを採用する。
• OjaとKohonen（1988）にインspiredされた反復的学習アルゴリズムを採用し、ノイズ抑制を高めるためにスパarsity制約を拡張する。
• すべてのパターン x = G⊤u が低次元部分空間に位置するように、生成行列 G を学習することにより部分空間制約を課す。
• リトリーブ時に誤り訂正を実現するため、（パターンニューロン対制約ニューロンの）二部グラフにおける信念伝播型メッセージパッシングを適用する。
• 高次の依存関係をモデル化し、誤り訂正性能を向上させるために、スーパー制約ノードを導入する。
• 頑健な学習とノイズ除去手順を用いて、部分空間にほぼ位置するパターンへのモデルの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアソシエイティブメモリは、線形分の誤りを是正しつつ、指数的ストレージ容量を達成できるか？
• RQ2 モデルは収束性とノイズ耐性が保証される形で、ストリーミング形式でパターンを学習できるか？
• RQ3 画像など自然なデータ（部分空間構造に近いが正確ではない）に対して、モデルはどのように性能を発揮するか？
• RQ4 このようなフレームワークにおけるストレージ容量と誤り訂正の理論的限界は何か？そして、それを達成できるか？

主な発見

• 提案されたネットワークは、υ ≥ 2 かつ 0 < r < 1 の条件下で、C = υ^(rn) の指数的ストレージ容量を達成し、ネットワークサイズに応じてスケーラブルである。
• モデルは最大で線形分の誤りを是正でき、漸近的な誤り訂正性能はパターンサイズに比例して線形に増加する。
• 反復的学習アルゴリズムは、ストリーミング形式でパターンを学習でき、スパarsityと部分空間構造を維持する。
• 合成データおよび実データセットにおける実験結果から、高いリトリーブ精度とノイズ耐性が確認された。
• フレームワークは、定数係数の範囲内で、ストレージ容量および誤り訂正に関して情報理論的に最適である。
• この手法は特徴抽出ツールとしても機能し、構造化されたデータから意味のある低次元表現を学習する。