[論文レビュー] Efficient and optimal binary Hopfield associative memory storage using minimum probability flow

Christopher J. Hillar, Jascha Sohl‐Dickstein+1 more|arXiv (Cornell University)|Apr 13, 2012

Neural Networks and Applications参考文献 17被引用数 16

ひとこと要約

本稿では、最小確率フロー（MPF）学習を用いて、バイナリパターンをホープフィールド連想記憶装置に格納するための新規で効率的な手法を提案する。この手法により、最適な記憶容量（1ニューロンあたり1パターン以上）が達成され、速度、ノイズ耐性、汚染されたデータからの教師なし学習において優れた性能を発揮する。本手法は、極めて汚染された入力からも正確なパターン回復を達成し、PER や OPR といった古典的手法を上回る性能を示す。

ABSTRACT

We present an algorithm to store binary memories in a Hopfield neural network using minimum probability flow, a recent technique to fit parameters in energy-based probabilistic models. In the case of memories without noise, our algorithm provably achieves optimal pattern storage (which we show is at least one pattern per neuron) and outperforms classical methods both in speed and memory recovery. Moreover, when trained on noisy or corrupted versions of a fixed set of binary patterns, our algorithm finds networks which correctly store the originals. We also demonstrate this finding visually with the unsupervised storage and clean-up of large binary fingerprint images from significantly corrupted samples.

研究の動機と目的

• バイナリホープフィールドネットワークにおける最適なパターン格納のための実行可能で神経的に妥当なアルゴリズムの開発。
• 低容量、高コストの訓練時間、ノイズやラベルなしデータに対する性能が低いといった古典的手法の限界を克服すること。
• MPFに基づく訓練が、清浄なラベルなしに、汚染されたサンプルからの教師なし学習を可能にすることの実証。
• 記憶容量と収束に関する理論的保証の確立をし、1ニューロンあたり少なくとも1つのパターンを格納可能であることを証明すること。
• 局所的なニューロン状態とフィードフォワード入力にのみ依存する局所的学習ルールの提供により、生物学的妥当性を高めること。

提案手法

• 本手法は、データ分布とモデル分布の間のカルバック・ライブラー発散を最小化することで、ターゲットバイナリパターンの離散的分布にイジングモデルをフィットさせる最小確率フロー（MPF）を用いる。これにより、計算が困難な分配関数の計算を回避する。
• MPFは、確率質量を確率的プロセスを介してデータからモデルへと流れさせる方法により、データ分布とモデル分布の間のKullback-Leibler発散を最小化する。
• 学習されたイジングモデルのパラメータ（重み行列 J としきい値ベクトル θ）は、直接的にホープフィールドネットワークのエネルギー関数とダイナミクスを定義するために使用される。
• ネットワークのダイナミクスは、重み付き和に対するヘヴィサイド関数を用いて非同期に更新され、エネルギーの非増加と固定点への収束を保証する。
• アルゴリズムは、パターンのノイズ混入版や汚染されたバージョン上で訓練され、クリアなラベルなしに教師なし記憶学習が可能になる。
• 訓練は、凸であり、効率的に解けるMPF目的関数に対する勾配降下法により実施され、高速な収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 最小確率フロー学習を用いて、理論的保証付きで最適なパターン格納が可能なホープフィールドネットワークの訓練が可能か？
• RQ2 MPFに基づく訓練は、OPR や PER といった古典的手法よりも高い記憶容量を達成するか？
• RQ3 MPFで訓練されたホープフィールドネットワークは、ラベルなしで汚染されたサンプルから学習したにもかかわらず、極めて汚染された入力からも元のパターンを回復できるか？
• RQ4 得られる学習ルールは局所的で生物学的に妥当か？ すなわち、接続されたニューロンの状態とフィードフォワード入力にのみ依存するか？
• RQ5 MPFの訓練時間はネットワークサイズにどのようにスケーリングするか？ また、理論的容量限界に近づいた場合でも効率的か？

主な発見

• 本手法は最適な記憶容量を達成し、ホープフィールドネットワークに1ニューロンあたり少なくとも1つのパターンを格納可能であることを証明した。
• MPF訓練は、特に容量限界に近い領域で、PER や OPR よりも著しく高速であり、n ニューロンネットワークでは訓練時間が O(n^5/2) にスケーリングする。
• MPFは、DENOSING性能において PER を上回り、128 ニューロンネットワークで 64% のビット破損に対しても、正確なパターン回復率がより高い。
• 本アルゴリズムは、クリアなラベルなしに 30% の汚染された訓練サンプルのみを用いて、4096 ニューロンのネットワークに 80 個のバイナリ指紋画像（64×64）を格納し、ダイナミクス収束後に完全な回復を達成した。
• MPFは、清浄なラベルを必要とせず、高レベルの汚染（例：30% のビット反転）に対しても耐性を示す教師なし学習を可能にした。
• 得られる学習ルールは局所的であり、接続されたニューロンの状態とフィードフォワード入力にのみ依存するため、生物学的妥当性を支持する。