[論文レビュー] Inference by Reparameterization in Neural Population Codes

Rajkumar Vasudeva Raju, Xaq Pitkow|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference参考文献 25被引用数 20

ひとこと要約

本稿では、多変数グラフィカルモデルにおける近似的な確率的推論を実行する、生物学的に妥当なニューラルネットワークモデルを提案する。このモデルは、確率的集団符号（PPCs）と木構造再パラメータ化（TRP）を用いる。TRP更新を高速・低速の時間スケールを持つ非線形力学系に埋め込むことで、明示的なメッセージ伝達を必要とせず、分散的かつ再帰的な推論が可能となり、ループ付きベイズ更新（Loopy Belief Propagation）と同等の推論精度を達成する。さらに、ノイズに強く、生物学的に妥当である。

ABSTRACT

Behavioral experiments on humans and animals suggest that the brain performs probabilistic inference to interpret its environment. Here we present a new general-purpose, biologically-plausible neural implementation of approximate inference. The neural network represents uncertainty using Probabilistic Population Codes (PPCs), which are distributed neural representations that naturally encode probability distributions, and support marginalization and evidence integration in a biologically-plausible manner. By connecting multiple PPCs together as a probabilistic graphical model, we represent multivariate probability distributions. Approximate inference in graphical models can be accomplished by message-passing algorithms that disseminate local information throughout the graph. An attractive and often accurate example of such an algorithm is Loopy Belief Propagation (LBP), which uses local marginalization and evidence integration operations to perform approximate inference efficiently even for complex models. Unfortunately, a subtle feature of LBP renders it neurally implausible. However, LBP can be elegantly reformulated as a sequence of Tree-based Reparameterizations (TRP) of the graphical model. We re-express the TRP updates as a nonlinear dynamical system with both fast and slow timescales, and show that this produces a neurally plausible solution. By combining all of these ideas, we show that a network of PPCs can represent multivariate probability distributions and implement the TRP updates to perform probabilistic inference. Simulations with Gaussian graphical models demonstrate that the neural network inference quality is comparable to the direct evaluation of LBP and robust to noise, and thus provides a promising mechanism for general probabilistic inference in the population codes of the brain.

研究の動機と目的

• 大規模な多変数モデルにおける近似的な確率的推論の生物学的に妥当なニューラル実装を開発すること。
• 特に別々のメッセージ伝達メカニズムに依存する点で神経的に不条理なループ付きベイズ更新（LBP）の神経的不条理性を解消すること。
• 確率的集団符号（PPCs）と再パラメータ化に基づく推論を統合し、神経回路における分散的・再帰的計算を可能にすること。
• 再帰的ネットワークとしてのPPCsが、二つの時間スケールを持つ力学系を用いて、正確な周辺化と証拠統合を実行できることを示すこと。

提案手法

• 確率的集団符号（PPCs）を用いて確率分布を表現し、集団活動が事後分布の自然パラメータを符号化する。
• 複数のPPCsを接続することで多変数グラフィカルモデルを構築し、複数の相互作用する変数の連合分布を表現可能にする。
• ループ付きベイズ更新（LBP）を木構造再パラメータ化（TRP）に再定式化し、神経的実装に適した形に変換する。
• TRP更新を、局所的更新（高速）とグローバル再重み付け（低速）の二つの時間スケールを持つ非線形力学系として実装し、ループ内の証拠の重複カウントを回避する。
• 除法的正規化と二次非線形性を用いることで、PPCフレームワーク内でのメッセージ伝達操作を生物学的に妥当なメカニズムとして実装する。
• 複数の変数にわたる統計的情報を多重化された神経活動パターンで符号化し、専用のメッセージチャネルを必要とせず、分散型推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークとしてのPPCsは、生物学的に妥当な方法で近似的な確率的推論を実行できるか？
• RQ2 再パラメータ化によって、ループ付きベイズ更新（LBP）の神経的不条理性はどのように解消できるか？
• RQ3 複数の時間スケールは、ループ付きグラフィカルモデルにおける証拠の過剰カウントを防ぐために果たす役割は何か？
• RQ4 分散型集団符号は、明示的なメッセージ伝達なしに、複数の変数にわたる正確な周辺化を実現できるか？
• RQ5 ノイズはPPCベースの推論ネットワークの性能にどのように影響するか？また、現実的な神経変動に対してロバストであるか？

主な発見

• 空間的・時間的ノイズが存在する状況でも、ニューラルネットワークの推論精度は、直接LBP計算で得られる真値の周辺確率と非常に近い。
• モデルはノイズに対して強く、パラメータごとのニューロン数が増えるほど性能が向上し、スケーラビリティと信頼性を示している。
• 二つの時間スケールを持つ力学系は、特に長さ2のループにおいて、記憶が過去の情報を減衰させることで、証拠の過剰カウントを効果的に防止している。
• ネットワークは、メッセージの別個の神経表現を必要とせず、単に集団活動のみを用いて現地で推論を実行しており、生物学的妥当性を高めている。
• 除法的正規化と二次非線形性の組み合わせにより、高品質な周辺化が可能であり、既知の神経計算メカニズムとも整合している。
• 結果から、PPCパラメータに異なる非線形変換を施すことで、平均場法や一般化されたベイズ更新など、異なる近似的推論アルゴリズムを実装できる可能性が示唆された。