[論文レビュー] The Kanerva Machine: A Generative Distributed Memory

Yan Wu, Greg Wayne+2 more|arXiv (Cornell University)|Apr 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 13

ひとこと要約

Kanervaマシンは、Kanervaのスパarsity分散記憶にインspiredされた微分可能で生成的記憶モデルであり、解析的に取り扱えるベイズ更新を用いて高速かつ分散型の書き込みと耐障害性の高いオンライン圧縮を可能にしている。階層的変分推論を用いたメモリ拡張VAEフレームワークにより、データに依存する適応的事前分布を学習することで、OmniglotおよびCIFAR-10において、訓練安定性、一般化性能、容量の面でDNCを上回っている。

ABSTRACT

We present an end-to-end trained memory system that quickly adapts to new data and generates samples like them. Inspired by Kanerva's sparse distributed memory, it has a robust distributed reading and writing mechanism. The memory is analytically tractable, which enables optimal on-line compression via a Bayesian update-rule. We formulate it as a hierarchical conditional generative model, where memory provides a rich data-dependent prior distribution. Consequently, the top-down memory and bottom-up perception are combined to produce the code representing an observation. Empirically, we demonstrate that the adaptive memory significantly improves generative models trained on both the Omniglot and CIFAR datasets. Compared with the Differentiable Neural Computer (DNC) and its variants, our memory model has greater capacity and is significantly easier to train.

研究の動機と目的

• 既存のメモリ拡張ネットワークの限界（一般化性能の低さ、ハイパーパrameterへの感受性）を克服するため、新しいデータに素早く適応できるメモリシステムを設計すること。
• DNCのようなスロットベースのメモリの非効率性や、Neural Statisticianのような平均化ベース手法の情報損失を解消するため、重複する分散型メモリ表現を可能にすること。
• 深層生成モデルとメモリシステムを統合するため、データ依存的かつ適応的事前分布を持つ階層的条件付き生成モデルとして定式化すること。
• 記憶内容の保持と新規データの保存の最適なトレードオフを実現する正確なベイズ更新ルールを用いて、効率的で原理的根拠のあるメモリ更新を可能にすること。
• OmniglotおよびCIFAR-10における生成的モデリング性能の向上を実証するとともに、DNCよりも著しく訓練が容易であることを示すこと。

提案手法

• 標準的な事前分布の代わりに、生成的かつ分散型メモリストアから導出されたメモリ依存事前分布を用いることで、VAEフレームワークを拡張する。
• メモリが豊富でデータ適応的事前分布を提供する階層的条件付き生成モデルを用い、潜在変数は上位からのメモリ信号とエンコーダーからの下位からの知覚信号の組み合わせによって形成される。
• メモリは学習可能なアドレスと再パラメトリゼーション可能な潜在変数を備えた線形ガウスモデルとして実装され、微分可能で解析的に取り扱える推論を可能にする。
• 主なイノベーションは、古き内容の保持と新規データの統合の最適なトレードオフを実現するベイズ更新ルールの導出であり、耐障害的オンライン圧縮を保証する。
• 交換可能エピソードの対数尤度に対する変分下界を用いて、エンド・トゥ・エンドで訓練され、メモリ状態は正確なベイズ推論によって更新される。
• メモリはベイズの定理に基づく閉形式解を用いて更新され、更新プロセス自体の勾配最適化を避けるため、訓練の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 訓練の安定性とスケーラビリティを維持しながら、新しいデータに素早く適応できるメモリシステムを設計できるか？
• RQ2 ピクセルの直接保存やスロットベースアーキテクチャに依存せずに、高容量かつ効率的な圧縮を実現できるメモリモデルは可能か？
• RQ3 解析的に取り扱えるベイズ更新ルールを用いて、深層生成モデルにおける最適で微分可能なメモリ書き込みを実現できるか？
• RQ4 データ依存的かつ適応的事前分布を持つメモリ拡張VAEは、少サンプルおよび通常の画像データセットにおける生成的モデリング性能を向上させられるか？
• RQ5 Kanervaマシンは、DNC や Neural Statistician といった既存モデルと比較して、訓練安定性、収束速度、一般化能力の面で優れているか？

主な発見

• Kanervaマシンは、全テストハイパーパramータ設定においてCIFAR-10のテスト損失が70未満に抑えられ、DNCは最適設定でも6回中2回の実行で損失が100近くにとどまり、顕著に優れている。
• DNCとは異なり、学習率（3×10⁻⁵から3×10⁻⁴）およびバッチサイズ（8から64）の広い範囲で安定した訓練を達成した。
• 特にクラス数が少ない（再帰性が高い）エピソードにおいて、より大きなエピソードへの一般化性能がDNCを明確に上回り、再構成損失の変分下界が低かった。
• エンコーダー、アドレス、およびベイズ更新を通じてデータの統計的規則性を学習し、生のピクセルを保存する必要を回避することで、圧縮された表現を効果的に活用した。
• 正確なベイズ更新ルールの使用により、バックプロパゲーションを更新プロセスに通さない、原理的根拠のあるパラメータフリーのメモリ書き込みが可能となり、訓練の安定性と効率性が向上した。
• メモリ依存事前分布を持つ階層的生成モデルにより、未観測のパターンの有効なサンプリングが可能であり、神経科学で観察される構築的記憶現象と整合的であった。