[论文解读] Some Results on Tighter Bayesian Lower Bounds on the Mean-Square Error

Lucien Bacharach, Carsten Fritsche+2 more|arXiv (Cornell University)|Jul 22, 2019

Sparse and Compressive Sensing Techniques参考文献 21被引用 8

一句话总结

本文通过使用后验概率密度而非联合密度重新定义协方差不等式，提出了一类更紧致的贝叶斯下界（BLBs）来约束均方误差（MSE）。这些更紧致的下界可推广至向量参数估计，在经典贝叶斯克拉美罗下界（BCRB）失效的复杂非线性问题中，对MAP和MMSE估计器显示出渐近紧致性，包含形式化证明与数值验证。

ABSTRACT

In random parameter estimation, Bayesian lower bounds (BLBs) for the mean-square error have been noticed to not be tight in a number of cases, even when the sample size, or the signal-to-noise ratio, grow to infinity. In this paper, we study alternative forms of BLBs obtained from a covariance inequality, where the inner product is based on the extit{a posteriori} instead of the joint probability density function. We hence obtain a family of BLBs, which is shown to form a counterpart at least as tight as the well-known Weiss-Weinstein family of BLBs, and we extend it to the general case of vector parameter estimation. Conditions for equality between these two families are provided. Focusing on the Bayesian Cramér-Rao bound (BCRB), a definition of efficiency is proposed relatively to its tighter form, and efficient estimators are described for various types of common estimation problems, e.g., scalar, exponential family model parameter estimation. Finally, an example is provided, for which the classical BCRB is known to not be tight, while we show its tighter form is, based on formal proofs of asymptotic efficiency of Bayesian estimators. This analysis is finally corroborated by numerical results.

研究动机与目标

• 为解决贝叶斯克拉美罗下界（BCRB）在非线性估计问题中（特别是在信噪比较低或样本量有限时）过于松散或非紧致的长期问题。
• 基于后验内积，发展一种更通用且更紧致的贝叶斯下界（BLBs）形式，以改进威斯-魏恩斯坦家族下界。
• 为贝叶斯估计器相对于新紧致下界的有效性建立正式条件，尤其在标量参数和指数族参数估计中。
• 通过渐近分析与数值仿真，在经典BCRB失效的典型估计问题上验证理论改进。

提出的方法

• 基于协方差不等式原理，推导出一类新的贝叶斯下界，其中内积定义基于后验概率密度函数，而非联合密度。
• 通过引入参数与观测值的向量值函数，将更紧致的下界形式推广至向量参数估计，从而适用于多变量问题。
• 提出一种相对于更紧致下界（TBCRB）而非经典BCRB的新效率定义，用于评估渐近状态下估计器的性能。
• 将更紧致下界应用于贝叶斯克拉美罗下界（BCRB）情形，推导出TBCRB渐近紧致的条件，并证明MAP与MMSE等估计器可达到该下界。
• 通过形式化渐近分析，证明后验分布收敛至使TBCRB与精确克拉美罗下界（ECRB）在大样本极限下一致的形式。
• 采用蒙特卡洛仿真与符号计算（Mathematica）计算并比较不同样本量下MAP与MMSE估计器的实测均方根误差（RMSE）与理论下界。

实验结果

研究问题

• RQ1 能否推导出一种比威斯-魏恩斯坦家族更紧致的贝叶斯下界形式，尤其在非线性或非高斯估计问题中？
• RQ2 在何种条件下，更紧致的贝叶斯克拉美罗下界（TBCRB）对标准估计器（如MAP与MMSE）呈渐近紧致？
• RQ3 相对于TBCRB而非经典BCRB的新效率定义，如何影响最优贝叶斯估计器的表征？
• RQ4 在何种情况下TBCRB与精确克拉美罗下界（ECRB）收敛？这对后验分布的渐近行为有何含义？
• RQ5 能否在TBCRB框架下为MAP与MMSE估计器的渐近有效性建立形式化证明，尤其在经典BCRB失效的问题中？

主要发现

• 基于后验协方差不等式推导出的更紧致贝叶斯下界，其紧致性至少与标准威斯-魏恩斯坦家族下界相当，并已推广至向量参数估计。
• 在未知方差的正态分布方差估计示例中，TBCRB被证明是渐近紧致的，而经典BCRB则不是。
• MAP与MMSE估计器被正式证明相对于TBCRB是渐近有效的，即其MSE在样本量 $N \to \infty$ 时收敛至TBCRB。
• 数值结果证实，当 $N$ 较大时，TBCRB与ECRB收敛至同一数值，验证了第(115)式所推导的理论渐近后验形式。
• 在中等 $N$ 时，TBCRB与经典BCRB之间的差距变得显著，表明经典下界在非线性设定下低估了真实的最小MSE。
• 参数的后验分布收敛至指数族形式，使TBCRB能渐近匹配ECRB，从而证实了理论收敛性。