[论文解读] Information and Estimation over Binomial and Negative Binomial Models

Dongning Guo|arXiv (Cornell University)|Jul 31, 2012

Statistical Mechanics and Entropy参考文献 6被引用 6

一句话总结

本文通过将Kullback-Leibler散度关于缩放参数的导数表达为在真实先验和失配先验下条件均值估计之间分歧度量的期望，建立了二项分布和负二项分布模型中相对熵与估计误差之间的新联系。与以往使用修改后模型参数的方法不同，本方法使用原始模型参数，所得结果与现有的高斯和泊松模型类比更为一致。

ABSTRACT

In recent years, a number of results have been developed which connect information measures and estimation measures under various models, including, predominently, Gaussian and Poisson models. More recent results due to Taborda and Perez-Cruz relate the relative entropy to certain mismatched estimation errors in the context of binomial and negative binomial models, where, unlike in the case of Gaussian and Poisson models, the conditional mean estimates concern models of different parameters than those of the original model. In this note, a different set of results in simple forms are developed for binomial and negative binomial models, where the conditional mean estimates are produced through the original models. The new results are more consistent with existing results for Gaussian and Poisson models.

研究动机与目标

• 在二项分布和负二项分布模型中，建立相对熵与估计误差之间的新对偶性。
• 解决以往研究中使用失配估计时采用修改后模型参数（例如，二项分布中使用n−1次试验）所导致的不一致问题。
• 使结果与高斯和泊松模型中既有的框架保持一致，其中条件均值估计基于原始模型。
• 推导出这些模型中关于缩放参数a和b的KL散度导数的闭式表达式。
• 证明相对熵的导数等于在真实和失配先验下条件均值估计上应用分歧函数的期望。

提出的方法

• 模型定义为随机变换：对于二项分布，Y|X=x ~ Binomial(n, a/x)；对于负二项分布，Y|X=x ~ NB(r, x/(b+x))。
• 通过微分输出概率质量函数，推导出KL散度D(P_Y || Q_Y)关于缩放参数a（二项分布）或b（负二项分布）的导数。
• 引理1和引理2表明，dP_Y(y)/da = (1/a)(y P_Y(y) - (y+1) P_Y(y+1))，在(−∞,a]或(−∞,0]上质量为零的条件下成立。
• 关键恒等式涉及将KL导数表达为包含函数g(t) = t - 1 - log t的期望，该函数用于度量相对于1的相对偏离程度。
• 最终结果将导数表示为：对于二项分布，E[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ]；对于负二项分布，E[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ]。
• 推导依赖于对似然比期望的操纵，并利用恒等式g(t) = t - 1 - log t来表达KL散度导数中的对数项。

实验结果

研究问题

• RQ1 能否在使用原始模型参数的前提下，在二项分布和负二项分布模型中建立相对熵与估计误差之间的对偶性？
• RQ2 当模型参数保持不变时，KL散度D(P_Y || Q_Y)的导数与失配条件均值估计之间有何关系？
• RQ3 为何以往使用修改后参数（如n−1次试验）的研究结果无法与高斯和泊松模型的类比保持一致？
• RQ4 相对熵导数在真实和失配先验下条件均值估计的函数形式是什么？
• RQ5 是否可以使用相同的数学结构（即g(t) = t - 1 - log t）来表达离散模型中KL导数的性质，如同在连续模型中一样？

主要发现

• 在二项分布模型中，KL散度D(P_Y || Q_Y)关于参数a的导数为E[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ]，其中g(t) = t - 1 - log t。
• 对于负二项分布模型，关于b的导数为E[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ]。
• 结果与高斯和泊松模型的类比保持一致，其中条件均值估计基于原始模型参数。
• 推导中证明了输出pmf P_Y(y)关于a的导数为(1/a)(y P_Y(y) - (y+1) P_Y(y+1))，这是推导中的关键恒等式。
• 函数g(t)作为真实与失配后验均值估计之间分歧度量，其期望捕捉了相对熵的变化速率。
• 推导证实，KL散度导数完全由通过后验均值比值的g函数衡量的条件均值失配估计误差所表征。