[論文レビュー] Dense Associative Memory for Pattern Recognition

Dmitry Krotov, J. J. Hopfield|arXiv (Cornell University)|Jun 3, 2016

Neural Networks and Applications参考文献 15被引用数 27

ひとこと要約

この論文は、エネルギー関数における高次相互作用を用いることで、ニューロン数よりもはるかに多くのパターンを格納・抽出できる密なアソシエイティブメモリモデルを提案する。このモデルは深層フィードフォワードネットワークと双対性を示し、例えばReLUの高次版である整数次多項式活性化関数が自然に導かれることが示され、特徴ベースおよびプロトタイプベースの表現を両立させ、容量と計算特性の両方を向上させる。

ABSTRACT

A model of associative memory is studied, which stores and reliably retrieves many more patterns than the number of neurons in the network. We propose a simple duality between this dense associative memory and neural networks commonly used in deep learning. On the associative memory side of this duality, a family of models that smoothly interpolates between two limiting cases can be constructed. One limit is referred to as the feature-matching mode of pattern recognition, and the other one as the prototype regime. On the deep learning side of the duality, this family corresponds to feedforward neural networks with one hidden layer and various activation functions, which transmit the activities of the visible neurons to the hidden layer. This family of activation functions includes logistics, rectified linear units, and rectified polynomials of higher degrees. The proposed duality makes it possible to apply energy-based intuition from associative memory to analyze computational properties of neural networks with unusual activation functions - the higher rectified polynomials which until now have not been used in deep learning. The utility of the dense memories is illustrated for two test cases: the logical gate XOR and the recognition of handwritten digits from the MNIST data set.

研究の動機と目的

• 従来のアソシエイティブメモリモデルがニューロン数Nに対して約0.14N個のパターンしか格納できないという容量制限を克服すること。
• ニューロン数をはるかに上回る数のパターンを信頼性高く格納・抽出できるモデルの開発。
• 新しい活性化関数を備えた単一隠れ層フィードフォワードネットワークと、密なアソシエイティブメモリの間の形式的双対性の確立。
• 深層学習におけるReLUを超える整数次多項式活性化関数の計算的性質の探求。
• XORおよびMNISTにおける理論的分析と数値シミュレーションを通じた、モデルの容量と耐障害性の検証。

提案手法

• 標準的な二次形式に代えて、ニューロン間の高次（n次）相互作用を含む修正されたエネルギー関数を提案。
• エネルギー関数の相互作用次数nと、単一隠れ層ニューラルネットワークにおける活性化関数の次数（n−1）との間の双対写像を導入。
• 隠れ層にf_n(x) = max(0, x)^n（n ≥ 1）の形の整数次多項式活性化関数を採用。
• アソシエイティブメモリフレームワークにおける再構成誤差を最小化する目的関数から導かれた勾配に基づく学習手順を採用。
• 可視ベクトルおよびメモリベクトルの両方に対して導出された勾配を用いて、GPU上でミニバッチ学習を実施。
• バイナリメモリベクトルを用いた数値シミュレーションと、ランダム初期状態における収束解析を通じて、容量スケーリングの検証。

実験結果

リサーチクエスチョン

• RQ1 高次相互作用を有するアソシエイティブメモリモデルは、ニューロン数をはるかに上回る数のパターンを格納できるか？
• RQ2 深層ネットワークにおける活性化関数の選択は、アソシエイティブメモリのエネルギー関数の構造とどのように関係するか？
• RQ3 ReLUを超える整数次多項式活性化関数は、パターン認識タスクにおいてどのような計算的利点を提供するか？
• RQ4 エネルギー関数のべき乗型と整数次多項式型の間には、記憶容量の観点から理論的かつ数値的に整合性があるか？
• RQ5 格納されたメモリ数がニューロン数を上回る場合でも、このようなモデルは信頼性を持ってパターンを再構成できるか？

主な発見

• 本モデルは高い記憶容量を達成：n=4の場合、N=100ニューロンで理論的最大容量が7,000を超える。シミュレーションではK < K_maxの範囲でほぼ完全な回復が確認された。
• 数値シミュレーションにより、n=4の場合、10,000個の初期状態のうちK=2000のとき100%が格納されたメモリに収束した。信頼性の高い再構成が確認された。
• 整数次多項式モデルの容量スケーリングは理論的予測とよく一致しており、結果は理論曲線をわずかに上回るが、同様の非線形挙動を示した。
• n=2およびn=3の場合、K=2000のときメモリの再構成が信頼性なく、理論的容量限界（それぞれK_max ≈ 11および360）と整合的であった。
• アソシエイティブメモリと深層ネットワークの間の双対性は成立：n次エネルギー関数は、双対ネットワークにおける(n−1)次整数次多項式活性化関数に対応する。
• 学習に用いた勾配は、標準的な誤差逆伝播法に類似しているが、べき乗活性化関数に適応されたものであり、効率的なGPUベースの学習を可能にした。