[論文レビュー] Neural Empirical Bayes

Saeed Saremi, Aapo Hyvärinen|Työväentutkimus Vuosikirja|Mar 6, 2019

Neural Networks and Applications参考文献 42被引用数 10

ひとこと要約

この論文は、測度集中現象に基づく幾何的解釈を根拠に、カーネル密度推定と経験ベイズを統合するフレームワークであるニューラル経験ベイズ（NEB）を提案する。密度の対数をニューラルネットワークでパrameter化し、ロビンズ推定子によるノイズ除去を活用することで、ウォーク・ジャンプサンプリング方式と、高次元球体の相互作用から生じる『創造的メモリ』—実際のデータ点ではないが構造的な非実在のデータ点—を生成する新しい関連記憶モデル（NEBULA）を可能にする。

ABSTRACT

We unify $ extit{kernel density estimation}$ and $ extit{empirical Bayes}$ and address a set of problems in unsupervised learning with a geometric interpretation of those methods, rooted in the $ extit{concentration of measure}$ phenomenon. Kernel density is viewed symbolically as $X ightharpoonup Y$ where the random variable $X$ is smoothed to $Y= X+N(0,σ^2 I_d)$, and empirical Bayes is the machinery to denoise in a least-squares sense, which we express as $X \leftharpoondown Y$. A learning objective is derived by combining these two, symbolically captured by $X ightleftharpoons Y$. Crucially, instead of using the original nonparametric estimators, we parametrize $ extit{the energy function}$ with a neural network denoted by $ϕ$; at optimality, $ abla ϕ\approx - abla \log f$ where $f$ is the density of $Y$. The optimization problem is abstracted as interactions of high-dimensional spheres which emerge due to the concentration of isotropic gaussians. We introduce two algorithmic frameworks based on this machinery: (i) a "walk-jump" sampling scheme that combines Langevin MCMC (walks) and empirical Bayes (jumps), and (ii) a probabilistic framework for $ extit{associative memory}$, called NEBULA, defined à la Hopfield by the $ extit{gradient flow}$ of the learned energy to a set of attractors. We finish the paper by reporting the emergence of very rich "creative memories" as attractors of NEBULA for highly-overlapping spheres.

研究の動機と目的

• 測度集中現象に基づく単一の幾何的枠組みとして、カーネル密度推定と経験ベイズを統合すること。
• データの平滑化（X → Y）とノイズ除去（X ← Y）を双方向的演算としてモデル化することにより、教師なし学習問題に対処すること。
• 滑らかにされたデータYの密度fの−∇log fを近似するニューラルネットワークベースのエネルギー関数を開発すること。
• ランジュバンMCMCと経験ベイズノイズ除去を組み合わせたウォーク・ジャンプサンプリング方式を導入すること。
• データからアトラクタを学習する確率的関連記憶システムNEBULAを設計し、『創造的』な記憶形成を示すこと。

提案手法

• データの平滑化を X ↱ Y として記号的に表現し、Y = X + N(0, σ²I_d) とする。ノイズ除去は経験ベイズにより X ⇩ Y とし、ロビンズ推定子 X̂(y) = y + σ²∇log f(y) を用いる。
• 学習目的関数は E[‖X − X̂(Y)‖²] として定式化され、元のサンプルと復元されたサンプルの平均二乗誤差を最小化する。
• 密度の対数勾配 ∇log f はニューラルネットワーク φ を用いて近似され、∇φ ≈ −∇log f となるように、確率的勾配降下法で学習する。
• フレームワークは測度集中現象を活用し、高次元において等方的ガウスノイズが球面上に集中することを示し、多様体の崩壊・拡張を引き起こす。
• ウォーク・ジャンプサンプリング方式を提案：ランジュアンMCMCステップ（ウォーク）と経験ベイズノイズ除去ステップ（ジャンプ）を交互に実行し、サンプル品質を向上させる。
• NEBULAは、学習済みエネルギー関数上の勾配フローとして定式化され、高次元空間におけるi-球体の重なり合う相互作用からアトラクタが出現する。

実験結果

リサーチクエスチョン

• RQ1 カーネル密度推定と経験ベイズを、高次元における測度集中現象に基づく単一の幾何的枠組みとして正式に統合することは可能か？
• RQ2 データに等方的ガウスノイズを適用した場合、高次元における多様体の崩壊・拡張の現象にどのような意味があるか？
• RQ3 エネルギー関数のニューラルネットワークパラメータ化が、未正規化密度推定のスコア関数 ∇log f を効果的に近似できるか？
• RQ4 標準MCMCと比較して、ウォーク・ジャンプサンプリング方式は、教師なし学習におけるサンプル品質をどの程度向上させ得るか？
• RQ5 NEBULAモデルのアトラクタは、『創造的』な記憶形成を示すか、すなわち、元のデータセットに存在しない構造的で非実在のデータ点を生成するか？

主な発見

• 高次元において、等方的ガウスノイズによるデータの平滑化は、多様体Mのサポートが、N ≈ √((ε² + σ²)(d − d_♯))S^{d−1} の高次元球体に拡張されることを示した。この現象は多様体の崩壊・拡張と呼ばれる。
• 提案されたウォーク・ジャンプサンプリング方式は、効果的なノイズ除去ジャンプステップにより、ランジュアンMCMCのドリフトを是正するため、視覚的に魅力的なサンプルを生成する。
• 関連記憶モデルNEBULAは、f_X や f_Y の統計的サンプルではないアトラクタを生成し、自己組織的で構造的な表現が出現することを示した。
• σ = 0.3 の場合、強いi-球体相互作用により、『3』の数字が『7』に変形されるなど、非自明で文脈依存の記憶形成が観察された。
• 一様乱数点 [0,1]^d から初期化した場合、NEBULAは訓練データに存在しない構造的で非実在の画像—図9および図10に示す例—を生成する『創造的メモリ』を生成する。
• これらの創造的メモリは手動選択なしに自然に出現し、i-球体相互作用と学習済みエネルギー関数が、複雑で高次の表現を生み出すことを示している。