[论文解读] Approximate Message Passing with Consistent Parameter Estimation and Applications to Sparse Learning

Ulugbek S. Kamilov, Sundeep Rangan+2 more|arXiv (Cornell University)|Jul 17, 2012

Blind Source Separation Techniques参考文献 33被引用 14

一句话总结

本文提出自适应广义近似消息传递（Adaptive GAMP），一种计算高效的算法，可联合估计线性-非线性模型中的稀疏信号与未知参数。通过状态演化分析，证明了参数估计的渐近一致性，确保即使在非高斯、非线性模型中，性能也等同于已知真实参数的最优方法。

ABSTRACT

We consider the estimation of an i.i.d. (possibly non-Gaussian) vector $\xbf \in \R^n$ from measurements $\ybf \in \R^m$ obtained by a general cascade model consisting of a known linear transform followed by a probabilistic componentwise (possibly nonlinear) measurement channel. A novel method, called adaptive generalized approximate message passing (Adaptive GAMP), that enables joint learning of the statistics of the prior and measurement channel along with estimation of the unknown vector $\xbf$ is presented. The proposed algorithm is a generalization of a recently-developed EM-GAMP that uses expectation-maximization (EM) iterations where the posteriors in the E-steps are computed via approximate message passing. The methodology can be applied to a large class of learning problems including the learning of sparse priors in compressed sensing or identification of linear-nonlinear cascade models in dynamical systems and neural spiking processes. We prove that for large i.i.d. Gaussian transform matrices the asymptotic componentwise behavior of the adaptive GAMP algorithm is predicted by a simple set of scalar state evolution equations. In addition, we show that when a certain maximum-likelihood estimation can be performed in each step, the adaptive GAMP method can yield asymptotically consistent parameter estimates, which implies that the algorithm achieves a reconstruction quality equivalent to the oracle algorithm that knows the correct parameter values. Remarkably, this result applies to essentially arbitrary parametrizations of the unknown distributions, including ones that are nonlinear and non-Gaussian. The adaptive GAMP methodology thus provides a systematic, general and computationally efficient method applicable to a large range of complex linear-nonlinear models with provable guarantees.

研究动机与目标

• 解决在先验分布与噪声分布不完全已知的线性-非线性模型中，联合估计稀疏信号与未知参数的挑战。
• 开发一种通用且计算高效的算法，适用于压缩感知、神经元放电响应建模等多种问题。
• 在大样本独立同分布高斯变换下，为参数估计提供理论一致性保证。
• 通过将最大似然参数自适应机制嵌入消息传递框架，统一并推广现有 EM-GAMP 方法。
• 利用标量状态演化方程进行严格渐近分析，以预测算法行为。

提出的方法

• 提出 Adaptive GAMP，作为 GAMP 的推广，将期望最大化（EM）与近似消息传递相结合，用于联合参数与信号估计。
• 使用迭代自适应函数 $ H_x^t $ 和 $ H_z^t $，基于最大似然原则，估计先验分布与测量信道的未知参数 $ heta_x $ 和 $ heta_z $。
• 推导标量状态演化（SE）方程，描述算法在大样本独立同分布高斯变换矩阵下的渐近分量行为。
• 通过证明在似然函数满足弱正则性条件下，自适应函数收敛至真实参数，确保参数估计的一致性。
• 通过伪-Lipschitz 连续性与紧致性假设，建立在大系统极限下参数估计收敛至真实值的结论。
• 利用状态演化结构证明，该算法实现的性能等同于已知真实参数的最优算法。

实验结果

研究问题

• RQ1 能否设计一种消息传递算法，在线性-非线性模型中联合估计稀疏信号并学习未知参数，且具备可证明的一致性？
• RQ2 所提出的 Adaptive GAMP 方法是否在渐近意义上实现与已知真实参数的最优算法等效的性能？
• RQ3 状态演化框架能否扩展至分析 AMP 类算法中的自适应参数估计？
• RQ4 在何种条件下，GAMP 中的自适应参数估计会收敛至真实参数值？
• RQ5 该算法在非高斯与非线性测量模型下的表现如何？

主要发现

• 在弱正则性条件下，Adaptive GAMP 对先验与测量信道参数的估计具有渐近一致性。
• Adaptive GAMP 的渐近分量行为被一组标量状态演化方程精确刻画，将经典 AMP 分析推广至自适应设置。
• 当自适应函数在每次迭代中执行最大似然估计时，算法性能等同于已知真实参数的最优算法。
• 一致性结果适用于任意参数化形式的分布，包括非线性与非高斯模型。
• 通过在大系统极限下证明最大似然解的连续性与唯一性，建立了参数估计收敛至真实值的理论依据。
• 该方法推广了现有 EM-GAMP 方法，为稀疏线性模型中的学习提供了统一的理论保障框架。