[論文レビュー] Learning Attractor Dynamics for Generative Memory

Yan Wu, Gregory Wayne+2 more|arXiv (Cornell University)|Nov 23, 2018

Music and Audio Processing被引用数 12

ひとこと要約

本論文は、反復的推論をバックプロパゲーションしないで、頑健な記憶再構築のためのアトラクタダイナミクスを学習する微分可能カーネーヴァメモリ（DKM）を提案する。変分下界を最大化することで、尤度に基づくリャプノフ関数を誘導し、ノイズ混じりまたは損傷を受けた入力を、保存されたパターンに収束させる。これにより、学習中に消失勾配が発生しないまま、高品質なノイズ除去と生成サンプリングを実現する。

ABSTRACT

A central challenge faced by memory systems is the robust retrieval of a stored pattern in the presence of interference due to other stored patterns and noise. A theoretically well-founded solution to robust retrieval is given by attractor dynamics, which iteratively clean up patterns during recall. However, incorporating attractor dynamics into modern deep learning systems poses difficulties: attractor basins are characterised by vanishing gradients, which are known to make training neural networks difficult. In this work, we avoid the vanishing gradient problem by training a generative distributed memory without simulating the attractor dynamics. Based on the idea of memory writing as inference, as proposed in the Kanerva Machine, we show that a likelihood-based Lyapunov function emerges from maximising the variational lower-bound of a generative memory. Experiments shows it converges to correct patterns upon iterative retrieval and achieves competitive performance as both a memory model and a generative model.

研究の動機と目的

• 深層学習システムにおけるノイズや干渉要因の影響を受ける記憶再構築の課題に対処すること。
• ニューラルネットワークにおけるアトラクタダイナミクスの学習を妨げる消失勾配問題を克服すること。
• 生物学的および理論的モデルにインspiredされた、深層学習フレームワーク内での反復的かつ動的な記憶再構築を可能にすること。
• 生成的分散メモリにおいて、尤度に基づく変分目的から自然にアトラクタダイナミクスが出現することを示すこと。
• 反復的エネルギー最小化により、未知のノイズタイプ（例：ソルトアンドペッパーまたはガウスノイズ）に対しても、ノイズ除去とサンプリング品質の両方を向上させられることを示すこと。

提案手法

• 変分下界（ELBO）を最大化するように、生成的分散メモリを変分推論を用いて学習し、尤度に基づくリャプノフ関数を誘導する。
• メモリ行列 M をグローバルな潜在変数とし、行列-variate 正規分布の事前分布 p(M) = MN(R, U, I) を用いる。ここで R は平均、U は行方向の共分散である。
• クエリとキーのベクトルから計算される注意重み w(k) を用いて、重み付き和 z = Σ w(k)·M(k) + ξ によりメモリを読み取る。
• 学習後、勾配上昇法を用いて ELBO に対して勾配上昇することで、エネルギーを最小化するように再構成パターンを更新することにより、反復的再構築を可能にする。
• 負の変分下界に基づくエネルギー関数を定義し、損傷を受けた入力や事前分布からのサンプルの反復的精錬中にエネルギーが減少することを確認する。
• ダイナミクスのシミュレーションを学習中に実行しないことで、バックプロパゲーションを動的処理にまで拡張せず、消失勾配を回避する。

実験結果

リサーチクエスチョン

• RQ1 反復的推論のバックプロパゲーションを明示的に行わない深層生成メモリモデルにおいて、アトラクタダイナミクスが自然に出現するか？
• RQ2 尤度に基づく変分目的が自然にリャプノフ関数を誘導し、保存されたパターンに向かって再構築を安定化させるか？
• RQ3 このようなモデルは、学習時に見なかったノイズ（例：ソルトアンドペッパーまたはガウスノイズ）によって損傷を受けたパターンを、頑健にノイズ除去できるか？
• RQ4 生成モデルにおける事前分布からのサンプリングにおいて、アトラクタダイナミクスによる反復的精錬が、サンプル品質を向上させるか？
• RQ5 モデルは、より多くのイテレーションを実行することで計算量を増やし、精度を高められるか？また、このプロセス中にエネルギーは一貫して減少するか？

主な発見

• 15%のソルトアンドペッパーノイズが加わった Omniglot 画像ですら、反復的再構築により正しく正しいパターンに収束することが確認された。
• エネルギーは負の変分下界として定義され、ノイズ除去およびサンプリングの過程で一貫して減少し、アトラクタダイナミクスの存在を裏付けた。
• ノイズ除去された Omniglot パatters は元のものよりも洗練され、滑らかに見え、効果的なパターン回復が行われたことを示した。
• 事前分布からの初期サンプルは品質が低かったが、イテレーションを経るごとに徐々に向上し、エネルギーも時間とともに減少した。
• 特に DMLab のような大規模モデルでは、鞍点の影響によりエネルギーにフラクチュエーションが見られたが、全体として収束に至った。
• 動的処理を学習時にシミュレートしないことで、消失勾配を回避し、高速な書き込みを伴う高容量の生成的メモリの安定した学習が可能になった。