[论文解读] A comment on the "A unified Bayesian inference framework for generalized linear models"

Jiang Zhu|arXiv (Cornell University)|Apr 9, 2019

Gaussian Processes and Bayesian Inference参考文献 5被引用 11

一句话总结

本文阐明了广义线性模型（GLMs）中和积GAMP（sum-product GAMP，用于MMSE）与最大和GAMP（max-sum GAMP，用于MAP）之间的关系，表明两者均可通过将标准线性模型（SLM）与MMSE或MAP估计模块相结合而统一于一个框架之下。关键洞见在于，通过拉普拉斯近似（Laplace approximation）可重述最大和GAMP的输出函数，使其与和积GAMP的结构一致，揭示了尽管估计目标不同（MAP vs. MMSE），二者共享相同的底层机制。

ABSTRACT

The recent work `A unified Bayesian inference framework for generalized linear models' \cite{meng1} shows that the GLM can be solved via iterating between the standard linear module (SLM) (running with standard Bayesian algorithm) and the minimum mean squared error (MMSE) module. The proposed framework utilizes expectation propagation and corresponds to the sum-product version \cite{Rangan1}. While in \cite{Rangan1}, a max-sum GAMP is also proposed. What is their intrinsic relationship? This comment aims to answer this.

研究动机与目标

• 阐明广义线性模型（GLMs）中和积GAMP（用于MMSE）与最大和GAMP（用于MAP）之间的内在关系。
• 证明两种框架均可分解为标准线性模型（SLM）与非线性估计模块（MMSE或MAP）的组合。
• 表明最大和GAMP的输出函数可通过拉普拉斯近似重述为与和积GAMP相同的数学形式。
• 确立期望传播（EP）是两种框架的共同基础，从而实现统一的推理机制。

提出的方法

• 使用拉普拉斯近似近似MAP估计中的后验方差，将其与和积GAMP中MMSE的方差计算联系起来。
• 利用MAP估计及对数似然的二阶导数，推导最大和GAMP的输出标量估计函数。
• 将最大和GAMP中输出函数的导数重述为与和积GAMP中使用的相同形式，证明其结构等价性。
• 应用期望传播（EP）在SLM与非线性估计模块之间更新消息，实现在GLMs中的迭代推理。
• 在相同的AWGN信道模型下比较和积GAMP与最大和GAMP的输出函数，表明当通过EP表达时，二者具有相同的函数形式。
• 证明两种框架均可表示为SLM与MMSE或MAP模块的级联结构，且EP负责消息更新。

实验结果

研究问题

• RQ1 当以后验矩表示时，和积GAMP与最大和GAMP的输出函数之间有何关系？
• RQ2 能否通过拉普拉斯近似将最大和GAMP框架重述为与和积GAMP相同的数学结构？
• RQ3 期望传播（EP）在统一GLMs中MMSE与MAP估计的推理机制方面起到何种作用？
• RQ4 为何在AWGN信道设置下，尽管估计目标不同，和积GAMP与最大和GAMP仍产生相同的输出函数？
• RQ5 拉普拉斯近似如何弥合MAP与MMSE估计在消息传递算法背景下的差距？

主要发现

• 最大和GAMP的输出函数 $ g_{\rm out} $ 在结构上与和积GAMP完全相同，二者均依赖于估计均值与先验均值之间的差异。
• 最大和GAMP中输出函数的导数 $ -g_{\rm out}^\prime $ 可重写为 $ (\tau_p - {\rm var}_{\rm MAP}(z|\hat{p},y))/\tau_p^2 $，其形式与和积GAMP中使用的完全一致。
• 拉普拉斯近似使得基于MAP的方差估计可转化为与和积GAMP中MMSE方差等价的形式。
• 和积GAMP与最大和GAMP均可分解为标准线性模型（SLM）与非线性估计模块（MMSE或MAP）的组合，且EP负责消息更新。
• 在AWGN信道中，当应用EP时，两种GAMP变体的输出函数均简化为相同的表达式，确认了其在此设置下的等价性。
• 统一框架揭示了MAP与MMSE推理共享核心的消息传递机制，二者仅在后验近似方法上存在差异。