[論文レビュー] Compressive neural representation of sparse, high-dimensional probabilities

Xaq Pitkow|arXiv (Cornell University)|Jun 8, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、二値変数の連合確率分布を圧縮するための圧縮ニューラル表現を提案する。ランダムパーセプトロンを用いて、スパースで高次元な確率分布を圧縮する。確率分布を信号とみなして圧縮センシングの原則を適用することで、パrameter数が線形に増加する領域で正確な確率的推論が可能となり、幾何的構造を保持し、明示的なノイズ相関モデルなしに効率的なニューラル計算が可能になる。

ABSTRACT

This paper shows how sparse, high-dimensional probability distributions could be represented by neurons with exponential compression. The representation is a novel application of compressive sensing to sparse probability distributions rather than to the usual sparse signals. The compressive measurements correspond to expected values of nonlinear functions of the probabilistically distributed variables. When these expected values are estimated by sampling, the quality of the compressed representation is limited only by the quality of sampling. Since the compression preserves the geometric structure of the space of sparse probability distributions, probabilistic computation can be performed in the compressed domain. Interestingly, functions satisfying the requirements of compressive sensing can be implemented as simple perceptrons. If we use perceptrons as a simple model of feedforward computation by neurons, these results show that the mean activity of a relatively small number of neurons can accurately represent a high-dimensional joint distribution implicitly, even without accounting for any noise correlations. This comprises a novel hypothesis for how neurons could encode probabilities in the brain.

研究の動機と目的

• 従来の手法よりもはるかに少ないパrameter数で、高次元でスパースな確率分布を表現するニューラル符号化機構を開発すること。
• スパース信号に対してではなく、スパースな確率分布に対して圧縮センシングの原則を適用し、効率的な表現と計算を可能にすること。
• 単純なパーセプトロンが、確率空間の幾何的構造を保持する圧縮測定を実装できることを示すこと。
• 確率的推論が、非線形関数の期待値のみを用いて、圧縮領域で直接行えること。
• 神経集団が高次元の連合確率をどのように符号化し、計算するかという生物学的に妥当な仮説を提示すること。

提案手法

• n個の二値変数の高次元連合確率分布を、N = 2^n次元空間におけるスパース信号として表現する。
• i.i.d. 標準正規分布に従う重みを持つランダムパーセプトロンを用い、入力変数の非線形関数を通じてM個の圧縮測定を生成する。
• 各測定は、ランダムな重みベクトルと二値状態ベクトルの内積の符号の期待値に相当する。
• ノイズに強く、圧縮可能であることを保証するため、ℓ₁最小化を用いて圧縮測定から元のスパース確率分布を再構築する。
• Mとnが十分に大きい極限において、測定行列のグラム行列が単位行列に近づく（直交性に近づく）ことを示し、信頼性の高い回復が可能である条件を満たしていることを示す。
• 測定ベクトル間の内積の統計的性質を分析し、ランダムな状態ペアに対して内積がゼロの周りに集中することを示し、回復保証に支障をきたさない。

実験結果

リサーチクエスチョン

• RQ1 スパースで高次元な確率分布を、変数数に線形に比例するパrameter数で圧縮できるか？
• RQ2 圧縮センシングを従来のスパース信号ではなく、確率分布に効果的に適用できるか？
• RQ3 単純なパーセプトロンが、圧縮された確率的状態の測定と表現の生物学的に妥当なメカニズムとして機能できるか？
• RQ4 圧縮表現が確率空間の幾何的構造を保持しており、正確な確率的計算を可能にしているか？
• RQ5 回復が信頼できるためには、測定数Mと分布のスパース度Sとの間にどのような関係が必要か？

主な発見

• スパース確率分布は、M ≈ C S log(N/S) 個の圧縮測定のみで正確に表現可能であり、ここでN = 2^nは全状態空間のサイズである。
• ランダムな状態ペアに対して、測定ベクトル間の平均内積はゼロの周りに集中し、分散は1/Mに比例して減少する。これにより、極限において直交性が支持される。
• 測定行列のグラム行列は、Mとnが十分に大きい極限において単位行列に近づく（A^T A → I）ため、圧縮センシングによる信頼性の高い回復が可能になる。
• ℓ₁最小化による再構築法は、有界な誤差を保証する：‖ŝ − s‖_ℓ₂ ≤ C₀‖s_S − s‖_ℓ₂/√S + C₁ε。これは、圧縮可能性およびノイズに対するロバストネスを示している。
• 内積や分布間の距離といった確率的計算は、測定された期待値のみを用いて、圧縮領域で直接行える。
• 本手法は、事前にスパース分布のサポートを知る必要がなく、標準的な圧縮センシング条件（特に制限等長性性質：RIP）を満たしていれば回復が保証される。