[论文解读] Asymptotic behaviour of weighted differential entropies in a Bayesian problem

Mark Kelbert, Pavel Mozgunov|arXiv (Cornell University)|Apr 7, 2015

Statistical Mechanics and Entropy参考文献 5被引用 4

一句话总结

本文研究了贝叶斯二项模型中加权微分熵的渐近行为，表明在样本量较大时，当成功次数与试验次数呈线性或次线性关系时，后验分布的微分熵收敛于正态分布的熵。本文推导了经典信息不等式（Rao-Cramér、Bhattacharyya、Kullback）的加权版本，表明强调特定频率（如 p=0.5）的权重会改变这些不等式渐近形式中的常数，但不改变其基本结构。

ABSTRACT

We consider a Bayesian problem of estimating of probability of success in a series of conditionally independent trials with binary outcomes. We study the asymptotic behaviour of differential entropy for posterior probability density function conditional on $x$ successes after $n$ conditionally independent trials, when $n o \infty$. It is shown that after an appropriate normalization in cases $x \sim n$ and $x$ $\sim n^β$ ($0

研究动机与目标

• 分析在均匀先验下二元试验贝叶斯模型中后验分布微分熵的渐近行为。
• 将经典信息论不等式（Rao-Cramér、Bhattacharyya、Kullback）扩展至加权微分熵框架。
• 量化强调特定参数值（如 p=0.5）的权重函数如何影响Shannon、Rényi、Tsallis和Fisher熵的渐近形式。
• 推导并分析在成功次数计数不同缩放模式（x ~ n, x ~ n^β, x = constant）下加权信息不等式的渐近行为。

提出的方法

• 使用后验分布 f_{p|S_n}(p|x) = (n+1) * C(n,x) * p^x * (1-p)^{n-x} 表示在 n 次试验中观察到 x 次成功时成功概率的后验分布。
• 通过线性变换标准化后验分布，并应用微分熵变换公式 h_d(g) = h_d(f) + log d_1。
• 利用Laplace方法和超几何函数近似，推导在三种情形下的微分熵渐近展开：x ~ αn，x ~ n^β（0 < β < 1），以及 x = constant。
• 引入权重函数 φ^{(n)}(p) = p^{γ√n}(1-p)^{(1-γ)√n}/κ(ρ,γ) 以强调目标频率 γ，并推导加权矩母函数。
• 利用加权Fisher信息和加权矩母函数，应用加权Cramér-Rao、Bhattacharyya和Kullback不等式。
• 使用合流超几何函数和渐近级数展开（1F1）推导加权Kullback散度和信息界的主要项。

实验结果

研究问题

• RQ1 当成功次数 x 与 n 呈线性关系时，后验Beta分布的微分熵如何渐近表现？
• RQ2 当权重函数强调特定频率（如 p=0.5）时，加权微分熵（Shannon、Rényi、Tsallis、Fisher）的渐近形式是什么？
• RQ3 当权重函数强调目标参数值时，经典信息不等式（Rao-Cramér、Bhattacharyya、Kullback）如何变化？
• RQ4 当真实成功概率接近被强调的值时，两个后验分布之间加权Kullback散度的主导渐近行为是什么？

主要发现

• 当 x ~ αn 且 0 < α < 1 时，标准化后验分布收敛于正态分布，微分熵收敛于 h_d(φ) = (1/2)log(2πe)。
• 当 x ~ n^β 且 0 < β < 1 时，极限分布仍为正态分布，微分熵收敛到与线性情形相同的正态熵值。
• 当 x 或 n−x 为常数时，极限分布为非正态分布，但渐近微分熵仍可显式计算，且不同于正态情形。
• 权重函数 φ^{(n)}(p) 改变了所有熵（Shannon、Rényi、Tsallis、Fisher）渐近形式中的常数，但未改变其主导结构。
• 加权Fisher信息的主要项受真实频率与强调值 γ 之间距离的影响，以一个常数形式改变。
• 加权Kullback不等式给出下界 K^φ(f_α||f_ρ) ≥ (ε²(1+√n−n)²)/(2(1−α)αn) + O(1)，且极限 lim_{ε→0} (1/ε²)K^φ(f_α||f_ρ) = (1/2)I(f_α) ≥ n/(2α(1−α)) − √n/(α(1−α)) + O(1)。