[論文レビュー] Meta-Learning Deep Energy-Based Memory Models

Sergey Bartunov, Jack W. Rae+2 more|arXiv (Cornell University)|Oct 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 22

ひとこと要約

本論文は、画像などの高次元パターンの高速かつ圧縮可能な書き込みと検索を可能にする、深層エネルギー関数に基づくメモリモデル（EBMM）を訓練するためのメタラーニングフレームワークを提案する。メタラーニングされた重み更新を用いることで、ニューラルネットワークのパラメータをメモリとして使用し、5ステップでパターンを格納する。合成データおよび自然データにおいて、最先端の再構成精度と圧縮率を達成した。

ABSTRACT

We study the problem of learning associative memory -- a system which is able to retrieve a remembered pattern based on its distorted or incomplete version. Attractor networks provide a sound model of associative memory: patterns are stored as attractors of the network dynamics and associative retrieval is performed by running the dynamics starting from a query pattern until it converges to an attractor. In such models the dynamics are often implemented as an optimization procedure that minimizes an energy function, such as in the classical Hopfield network. In general it is difficult to derive a writing rule for a given dynamics and energy that is both compressive and fast. Thus, most research in energy-based memory has been limited either to tractable energy models not expressive enough to handle complex high-dimensional objects such as natural images, or to models that do not offer fast writing. We present a novel meta-learning approach to energy-based memory models (EBMM) that allows one to use an arbitrary neural architecture as an energy model and quickly store patterns in its weights. We demonstrate experimentally that our EBMM approach can build compressed memories for synthetic and natural data, and is capable of associative retrieval that outperforms existing memory systems in terms of the reconstruction error and compression rate.

研究の動機と目的

• 高次元データの処理およびスケーラビリティの制限を抱える古典的ホフリートネットワークの課題に対処する。
• VAE や RBM などの深層確率的モデルが数千回の勾配ステップを要するため、書き込みが遅いという問題を克服する。
• 少数ステップでのネットワーク重みの適応的更新を可能にするメタラーニングされた更新則を用いて、高速かつ効率的なメモリの書き込みと検索を実現する。
• 複雑な高次元入力に対しても、高い忠実度と低水準の偽のアトラクタ率を維持するメモリシステムを開発する。
• 任意の深層ニューラルネットワークアーキテクチャを表現力のあるエネルギー関数として使用しつつ、高速な学習および検索ダイナミクスを維持できるようにする。

提案手法

• エネルギー関数をニューラルネットワークでパラメータ化することで、画像などの複雑なデータに対して高い表現力を実現する。
• 新規パターンをエネルギー関数の局所的最小値として格納できる、高速な重み更新（5ステップ）を生成するメタラーナーを訓練する。
• 最適化の安定性と性能向上を図るために、エネルギー値、勾配ノルム、および事前分布項を組み合わせた書き込み損失を設計する。
• エネルギー関数に対する勾配降下法を用いて検索を実装し、歪んだクエリから格納済みのパターンへ収束させる。
• 勾配の流れを向上させ、メタラーニングされた更新プロセスにおける効果的な誤差逆伝播を可能にするために、スキップ接続およびゲート付き再帰モジュールを統合する。
• 前向きおよび後向きの両方のパスが表現力を持つ、微分可能で微分可能なアーキテクチャを採用し、書き込み則のエンドツーエンドメタラーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、多様なパターンに一般化可能な少数ステップの高速な書き込み則を持つ深層エネルギー関数モデルを訓練できるか？
• RQ2 メタラーニングされたEBMMの性能は、古典的および深層メモリモデルと比較して、再構成誤差および圧縮率の観点でどのように異なるか？
• RQ3 書き込み損失に勾配ノルム正則化を組み込むことで、最適化の安定性および最終的な性能にどのような影響を与えるか？
• RQ4 任意の深層ニューラルネットワークアーキテクチャが、高速かつ信頼性の高い関連的検索を維持しながら、表現力のあるエネルギー関数として機能できるか？
• RQ5 スキップ接続およびゲート付き再帰コンponentsは、メタラーニングされたメモリシステムにおける学習および検索ダイナミクスにどのように影響を与えるか？

主な発見

• 提案されたメタラーニングされたEBMMは、OmniglotおよびCIFAR-10データセットにおいて、先行するメモリモデルを上回る最先端の再構成誤差を達成した。
• 本手法は、わずか5ステップの重み更新でパターンを格納でき、1つのパターンあたりO(N)の計算量で実現されるため、メモリシステムとして最適な高速な書き込みが可能となった。
• 書き込み損失に勾配ノルムを組み込むことで、最適化の安定性が向上し、特に初期学習段階で顕著な性能向上が見られた。
• 本モデルは低水準の偽のアトラクタ率を維持しており、極めて歪んだクエリからも、強固な関連的検索が可能であることが示された。
• ゲート付き再帰モジュールおよびスキップ接続の導入により、メタラーニングされた更新プロセスにおける効果的な誤差逆伝播が可能となり、深層エネルギー関数の学習にとって不可欠な要因となった。
• 本システムは多様なデータタイプに一般化可能であり、合成データおよび自然画像データの両方において、効果的なメモリ圧縮および検索が実現された。