[論文レビュー] A Massively Parallel Associative Memory Based on Sparse Neural Networks

Zhe Yao, Vincent Gripon+1 more|arXiv (Cornell University)|Mar 28, 2013

Neural Networks and Applications参考文献 37被引用数 10

ひとこと要約

本稿では、和の和と和の最大値の戦略を組み合わせたハイブリッドリトリーブルールを用いて、GPUで加速されたグリポン＝ベルールニューラルネットワーク連想記憶の実装を提案する。この手法は、CPUベースの実装と比較して880倍の高速化を達成しながら、和の最大値ルールの高いリトリーブ精度を維持しており、機械学習ワークロード向けにスケーラブルで高性能な連想記憶を実現する。

ABSTRACT

Associative memories store content in such a way that the content can be later retrieved by presenting the memory with a small portion of the content, rather than presenting the memory with an address as in more traditional memories. Associative memories are used as building blocks for algorithms within database engines, anomaly detection systems, compression algorithms, and face recognition systems. A classical example of an associative memory is the Hopfield neural network. Recently, Gripon and Berrou have introduced an alternative construction which builds on ideas from the theory of error correcting codes and which greatly outperforms the Hopfield network in capacity, diversity, and efficiency. In this paper we implement a variation of the Gripon-Berrou associative memory on a general purpose graphical processing unit (GPU). The work of Gripon and Berrou proposes two retrieval rules, sum-of-sum and sum-of-max. The sum-of-sum rule uses only matrix-vector multiplication and is easily implemented on the GPU. The sum-of-max rule is much less straightforward to implement because it involves non-linear operations. However, the sum-of-max rule gives significantly better retrieval error rates. We propose a hybrid rule tailored for implementation on a GPU which achieves a 880-fold speedup without sacrificing any accuracy.

研究の動機と目的

• 大規模な機械学習アプリケーションにおける連想記憶システムの性能ボトルネックを解消すること。
• 高い正確性を提供するが、GPU上で並列化が困難な和の最大値リトリーブルールの計算非効率性を克服すること。
• 和の最大値の正確性を保ちつつ、和の和の速度を実現するハイブリッドリトリーブ戦略を開発すること。
• データベース、異常検知、顔認識などのリアルタイムシステムにおける高容量連想記憶の実用的導入を可能にすること。
• LDPCに類似した符号化に基づくスパースニューラルネットワークが、ノイズや誤りに対して非常に耐性があることを示し、耐障害性の高い記憶システムに適していることを明らかにすること。

提案手法

• CUDAを用いて、GPU上でグリポン＝ベルール連想記憶を実装し、ハイパフォーマンスコンピューティングを実現する。
• 行列・ベクトル乗算を用いて和の和ルールを適応させ、GPU上でネイティブに並列化可能な構造とする。
• 初期計算には和の和の高速性を、最終判断には和の最大値の正確性を活用するハイブリッドリトリーブルールを設計する。
• 冗長な計算を最小限に抑えることで、速度と正確性の動的バランスを取る共同デコード方式を導入する。
• 低密度奇数チェック（LDPC）符号に類似した構造を採用したスパースニューラルネットワークアーキテクチャを用い、ノイズや誤りに対する高い耐性を確保する。
• 収束保証付きの反復的メッセージパッシングアルゴリズムを適用し、安定したリトリーブ性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 和の最大値リトリーブルールを、正確性を損なわずGPU上で効率的に実装できるか？
• RQ2 和の最大値における非線形演算の計算オーバーヘッドを、リトリーブ性能を維持したまま軽減する方法は何か？
• RQ3 和の和の速度と和の最大値の正確性を組み合わせる最適なハイブリッド戦略は何か？
• RQ4 提案されたGPU最適化連想記憶は、記憶容量やメッセージの複雑さの増加に伴い、どのようにスケーリングするか？
• RQ5 相関のあるメッセージを処理する際、性能はどの程度低下するか。また、アーキテクチャはどのように適合させられるか？

主な発見

• ハイブリッドリトリーブルールは、CPUベースの和の最大値実装と比較して880倍の高速化を達成しながら、リトリーブ正確性に一切損なわれない。
• 和の和ルールはネットワークの振動を示し、特に高エラーレートや高密度のメモリ負荷下では信頼性が低い収束を示す。
• 和の最大値ルールは信頼性が高く、保存されたメッセージ数が比較的少ない場合（例：50,000メッセージ）には、ほぼ完璧なリトリーブ率（最大100％）を達成する。
• 高エラージャンル（例：8つのクラスタのうち6つが失われた場合）では、和の和が和の最大値や共同方式と比較して著しく低いリトリーブ率を示す。
• 共同デコード方式は、和の和の高速性と和の最大値の正確性を効果的に組み合わせ、全テスト設定で高いリトリーブ性能を維持する。
• LDPCに類似した符号化に基づくスパースニューラルネットワークアーキテクチャは、ノイズや誤りに対して強く、実世界の破損入力に対しても適した耐障害性を示す。