[论文解读] Compressive neural representation of sparse, high-dimensional probabilities

Xaq Pitkow|arXiv (Cornell University)|Jun 8, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用 6

一句话总结

本文提出了一种基于随机感知机的压缩神经表征方法，用于稀疏的高维概率分布。通过将概率分布视为信号并应用压缩感知原理，该方法在压缩域内实现了参数线性增长的精确概率推理，保留了几何结构，并实现了无需显式建模噪声相关性的高效神经计算。

ABSTRACT

This paper shows how sparse, high-dimensional probability distributions could be represented by neurons with exponential compression. The representation is a novel application of compressive sensing to sparse probability distributions rather than to the usual sparse signals. The compressive measurements correspond to expected values of nonlinear functions of the probabilistically distributed variables. When these expected values are estimated by sampling, the quality of the compressed representation is limited only by the quality of sampling. Since the compression preserves the geometric structure of the space of sparse probability distributions, probabilistic computation can be performed in the compressed domain. Interestingly, functions satisfying the requirements of compressive sensing can be implemented as simple perceptrons. If we use perceptrons as a simple model of feedforward computation by neurons, these results show that the mean activity of a relatively small number of neurons can accurately represent a high-dimensional joint distribution implicitly, even without accounting for any noise correlations. This comprises a novel hypothesis for how neurons could encode probabilities in the brain.

研究动机与目标

• 开发一种针对高维稀疏概率分布的神经编码机制，其参数数量远少于传统方法。
• 不将压缩感知原理应用于稀疏信号，而是应用于稀疏概率分布，以实现高效的表征与计算。
• 证明简单感知机可作为测量并保留概率空间几何结构的压缩测量机制。
• 表明仅使用非线性函数的期望值，即可在压缩域内直接执行概率推理。
• 提出一种生物上合理的假设，解释神经元群如何编码并计算高维联合概率。

提出的方法

• 将 n 个二值变量的高维联合概率分布表示为 N = 2^n 维空间中的稀疏信号。
• 使用独立同分布的高斯权重的随机感知机，通过输入变量的非线性函数生成 M 个压缩测量。
• 每个测量对应于随机权重向量与二值状态向量点积的符号函数的期望值。
• 采用 ℓ₁-最小化方法，从压缩测量中重构原始稀疏概率分布，确保对噪声和可压缩性的鲁棒性。
• 证明测量矩阵的格朗姆矩阵在 M 和 n 趋于无穷大时趋近于单位矩阵（正交性），满足可靠恢复的条件。
• 分析测量向量之间内积的统计特性，表明对于随机状态对，内积集中在零附近，其方差随 1/M 衰减，支持极限情况下的正交性。

实验结果

研究问题

• RQ1 能否使用与变量数量线性相关的参数数量，而非指数级数量，来压缩稀疏高维概率分布？
• RQ2 压缩感知能否有效应用于概率分布，而非传统稀疏信号？
• RQ3 简单感知机能否作为测量和表示压缩概率状态的生物上合理的机制？
• RQ4 压缩表示是否保留了概率空间的几何结构，从而支持精确的概率计算？
• RQ5 测量数量 M 与分布稀疏度 S 之间存在何种关系，才能实现可靠重构？

主要发现

• 稀疏概率分布可仅通过 M ≈ C S log(N/S) 个压缩测量实现精确表征，其中 N = 2^n 为全状态空间大小。
• 对于随机状态对，测量向量之间的平均内积集中在零附近，其方差随 1/M 衰减，支持极限情况下的正交性。
• 在 M 和 n 趋于无穷大的极限下，测量矩阵的格朗姆矩阵趋近于单位矩阵（A^T A → I），可通过压缩感知实现可靠恢复。
• ℓ₁-最小化恢复方法确保有界误差：‖ŝ − s‖_ℓ₂ ≤ C₀‖s_S − s‖_ℓ₂/√S + C₁ε，证明对可压缩性和噪声具有鲁棒性。
• 概率计算（如计算分布间的内积或距离）可直接在压缩域中使用测量得到的期望值完成。
• 该方法无需预先知晓稀疏分布的支持集，且在满足标准压缩感知条件（包括限制等距性质 RIP）下，恢复过程可保证成功。