[論文レビュー] Neural Sampling in Hierarchical Exponential-family Energy-based Models

Xingsi Dong, Si Wu|arXiv (Cornell University)|Oct 12, 2023

Neural Networks and ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、階層的指数型エネルギーに基づく（HEE）モデルを提案する。このモデルは、層ごとの正規化項に分割することで分割関数を分解し、高速ダイナミクスを持つニューロンを用いて正規化項のサンプリングを行うことで、局所的で生物学的に妥当な推論と学習を可能にする。モデルは負のフェーズを必要とせず収束性に優れた効率的で収束する学習を達成し、周期的挙動や一時的応答といった生物学的神経ダイナミクスを再現する。また、最先端のEBMと同等の高品質な画像生成を実現する。

ABSTRACT

Bayesian brain theory suggests that the brain employs generative models to understand the external world. The sampling-based perspective posits that the brain infers the posterior distribution through samples of stochastic neuronal responses. Additionally, the brain continually updates its generative model to approach the true distribution of the external world. In this study, we introduce the Hierarchical Exponential-family Energy-based (HEE) model, which captures the dynamics of inference and learning. In the HEE model, we decompose the partition function into individual layers and leverage a group of neurons with shorter time constants to sample the gradient of the decomposed normalization term. This allows our model to estimate the partition function and perform inference simultaneously, circumventing the negative phase encountered in conventional energy-based models (EBMs). As a result, the learning process is localized both in time and space, and the model is easy to converge. To match the brain's rapid computation, we demonstrate that neural adaptation can serve as a momentum term, significantly accelerating the inference process. On natural image datasets, our model exhibits representations akin to those observed in the biological visual system. Furthermore, for the machine learning community, our model can generate observations through joint or marginal generation. We show that marginal generation outperforms joint generation and achieves performance on par with other EBMs.

研究の動機と目的

• 脳の機能に整合する時間的・空間的局所的学習とサンプリングに基づくベイズ推論を可能にする生成モデルの開発。
• 従来、非局所的負のフェーズを必要とするエネルギーに基づくモデル（EBM）における分割関数推定の課題の解決。
• 推論ダイナミクスに神経適応を統合し、収束を加速させ、生物学的神経現象を模倣すること。
• モデルの現実的なデータ生成能力と、生物学的視覚系に類似した表現の生成能力の検証。

提案手法

• グローバルな分割関数を層ごとの正規化項の和に分解する階層的指数型エネルギーに基づく（HEE）モデルを提案。これにより、必要なサンプル空間が積から和に削減される。
• 時間定数が短い高速ダイナミクスを持つニューロンの群を用い、分解された対数分割関数の勾配をサンプリングすることで、正規化項の局所的推定を可能にする。
• 推論プロセスにおけるモーメンタムに類似した形で神経適応を導入し、ダイナミクスを2次元ランジュバン過程に変換することで収束を加速する。
• 潜在空間におけるマルチステップMCMCを用いた周辺生成法を採用。これは連合生成法を上回り、他のEBMと同等の画像生成タスクでの性能を達成する。
• CIFAR10での学習時に受容野などの生物学的制約を組み込み、モデルの表現が視覚皮質で観察されるものと一致するようにする。
• 時間ではなく神経層に沿って展開するマルコフ連鎖を用いる。これは拡散モデルに類似した階層的マルコフ構造であるが、時間的ではなく空間的（層的）に展開される点が特徴。

実験結果

リサーチクエスチョン

• RQ1 階層的エネルギーに基づくモデルは、脳の神経計算に整合する時間的・空間的局所的推論と学習を両立できるか？
• RQ2 EBMにおける分割関数推定を非局所的負のフェーズを回避する形で局所化できるか？
• RQ3 神経的適応が非凸なエネルギー分布におけるサンプリングを加速するモーメンタム機構として機能できるか？
• RQ4 HEEモデルは、方向性、色、分類など生物学的視覚系に類似した意味的特徴の表現を生成できるか？
• RQ5 HEEモデルにおける周辺生成は、他の最先端のエネルギーに基づくモデルと同等の性能を達成できるか？

主な発見

• HEEモデルは分割関数を層に跨って分解することで、負のフェーズの必要性を排除し、時間的・空間的両面で完全に局所的な学習を可能にする。
• 高速ダイナミクスを持つニューロンを用いて層ごとの正規化項をサンプリングすることで、分割関数の推定と同時に推論が可能になる。
• 神経適応をモーメンタム項として統合することで、推論が加速され、周期的挙動や一時的応答といった生物学的系に見られる神経現象が誘発される。
• FashionMNISTおよびCIFAR10の両タスクにおいて、HEEモデルは他の最先端のエネルギーに基づくモデルと同等の画像生成性能を達成する。
• 方向性、色、分類といった意味的特徴の学習済み表現は、生物学的視覚系に観察されるものと類似している。
• HEEモデルにおける周辺生成は連合生成を上回り、他のEBMと同等の性能を示し、強力な生成能力を示している。