[论文解读] Kullback-Leibler Divergence for the Normal-Gamma Distribution

Joram Soch, Carsten Allefeld|arXiv (Cornell University)|Nov 4, 2016

Image and Signal Denoising Methods参考文献 3被引用 21

一句话总结

本文推导了正态-伽马分布的Kullback-Leibler（KL）散度，表明其等于在使用共轭先验的单变量广义线性模型中的贝叶斯复杂度惩罚项。该方法实现了准确度与复杂度之间的平衡，从而在模拟数据和fMRI数据中均优于仅基于准确度的准则，即使参数模型的准确度低于因子设计，该方法仍能识别出其更优的模型证据。

ABSTRACT

We derive the Kullback-Leibler divergence for the normal-gamma distribution and show that it is identical to the Bayesian complexity penalty for the univariate general linear model with conjugate priors. Based on this finding, we provide two applications of the KL divergence, one in simulated and one in empirical data.

研究动机与目标

• 推导正态-伽马分布的Kullback-Leibler散度，该分布为正态分布与伽马分布变量的联合分布。
• 建立该KL散度与在使用共轭先验的单变量广义线性模型中贝叶斯复杂度惩罚项之间的对应关系。
• 通过在模拟数据和神经影像实证数据中比较模型准确度与复杂度，展示KL散度在模型选择中的实用性。
• 表明基于对数模型证据（结合准确度与复杂度）的模型选择，能够检测出仅通过准确度无法识别的差异。

提出的方法

• 通过将KL散度分解为给定y条件下的多变量正态分布KL散度（对x）和单变量伽马分布KL散度（对y），并分别对先验进行积分，推导出两个正态-伽马分布之间的KL散度。
• 使用多变量正态分布和单变量伽马分布KL散度的已知闭式表达式，然后对伽马分布的精度参数y取期望。
• 将推导出的KL散度用作贝叶斯模型证据中的复杂度惩罚项，从而通过对数模型证据（LME）实现模型比较。
• 在fMRI会话间进行交叉验证，计算两个竞争模型（因子GLM，即GLM I；参数模型，即GLM II）的交叉验证对数模型证据（cvLME）、准确度与复杂度。
• 使用配对t检验识别出GLM II的cvLME显著高于GLM I的体素（尽管准确度较低），以隔离由复杂度驱动的模型优势。
• 分析V4区视觉方向对比fMRI实验的数据，使用局部定位掩膜，提取各被试在峰值体素处的模型证据、准确度与复杂度。

实验结果

研究问题

• RQ1 正态-伽马分布的KL散度是否对应于在使用共轭先验的单变量广义线性模型中的贝叶斯复杂度惩罚项？
• RQ2 基于KL散度的复杂度惩罚是否能改进仅基于AIC或BIC等准确度准则的模型选择？
• RQ3 在神经影像数据中，当准确度相当或更低时，参数模型（GLM II）是否在对数模型证据上优于因子模型（GLM I）？
• RQ4 通过先验与后验之间KL散度量化的模型复杂度，是否能检测出仅从准确度无法察觉的模型差异？

主要发现

• 正态-伽马分布的KL散度被解析推导为：给定y条件下的多变量正态分布KL散度与单变量伽马分布KL散度之和，其中前者对y取期望。
• 推导出的KL散度与在使用共轭先验的单变量广义线性模型中的贝叶斯复杂度惩罚项完全一致，验证了其在模型证据中的理论作用。
• 在模拟数据中，KL散度成功量化了模型间的相对信息含量，支持其在模型比较中的应用。
• 在实证fMRI数据中，尽管准确度较低（ΔAcc = -1.78），GLM II的交叉验证对数模型证据（ΔL = 4.24）显著高于GLM I，表明其具有复杂度优势。
• 模型复杂度（以先验与后验之间KL散度衡量）在GLM I中始终更高（ΔCom = -6.02），表明GLM II的优越性能源于更优的复杂度控制。
• 结果表明，基于对数模型证据（结合准确度与复杂度）的模型选择，能够识别出仅通过准确度无法察觉的有意义模型差异。