[论文解读] A Bayesian Nonparametric Estimation to Entropy

Luai Al‐Labadi, Viskakh Patel+2 more|arXiv (Cornell University)|Mar 2, 2019

Bayesian Methods and Mixture Models参考文献 32被引用 5

一句话总结

本文提出了一种使用狄利克雷过程先验的新型贝叶斯非参数微分熵估计器，基于Ebrahimi、Pflughoeft和Soofi（1994）的频率学派估计器进行改进。该方法在多种分布下表现出更优性能，均方误差更低，尤其在浓度参数 $ a = 0.05 $ 时表现突出，适用于贝叶斯模型检验应用。

ABSTRACT

A Bayesian nonparametric estimator to entropy is proposed. The derivation of the new estimator relies on using the Dirichlet process and adapting the well-known frequentist estimators of Vasicek (1976) and Ebrahimi, Pflughoeft and Soofi (1994). Several theoretical properties, such as consistency, of the proposed estimator are obtained. The quality of the proposed estimator has been investigated through several examples, in which it exhibits excellent performance.

研究动机与目标

• 开发一种一致且计算上可行的贝叶斯非参数微分熵估计器。
• 将Ebrahimi、Pflughoeft和Soofi（1994）的频率学派估计器扩展至使用狄利克雷过程的贝叶斯框架。
• 评估估计器在一致性、均方误差以及对超参数和基测度选择的鲁棒性方面的性能。
• 为Al-Labadi和Evans（2018）所提出的贝叶斯模型检验提供实用工具。

提出的方法

• 通过将Ebrahimi等人（1994）的频率学派熵估计器嵌入狄利克雷过程先验框架中推导出该估计器。
• 使用狄利克雷过程先验对未知累积分布函数进行建模，其中包含基测度 $ G $ 和浓度参数 $ a $。
• 通过后验期望估计熵，利用狄利克雷过程的非参数灵活性以适应数据。
• 采用顺序统计量和通过窗口差分法进行的局部密度估计，并通过校正因子 $ c_i $ 处理边界效应。
• 开发了一种计算算法，通过从狄利克雷过程的后验分布中抽样来计算熵估计值。
• 对浓度参数 $ a $ 进行敏感性分析，发现 $ a = 0.05 $ 时性能最优。

实验结果

研究问题

• RQ1 所提出的贝叶斯非参数熵估计器在均方误差方面与Vasicek和Ebrahimi等人提出的频率学派估计器相比如何？
• RQ2 浓度参数 $ a $ 和基测度 $ G $ 对估计器性能和稳定性有何影响？
• RQ3 该贝叶斯估计器是否在多种分布中保持一致性并实现更低的估计误差？
• RQ4 该估计器能否如先前研究建议的那样，有效应用于贝叶斯模型检验？

主要发现

• 当 $ a = 0.05 $ 时，所提出的估计器在所有测试分布（均匀分布、指数分布、正态分布、威布尔分布）中，所有样本量下均达到最低的均方误差。
• 对于均匀分布，当 $ n = 50 $ 时，所提估计器的均方误差为 0.013，而Ebrahimi等人估计器的均方误差为 0.048。
• 对于均值为1的指数分布，所提估计器在 $ n = 50 $ 时的均方误差为 0.022，优于Vasicek估计器（均方误差 0.039）和Ebrahimi等人估计器（均方误差 0.022）。
• 当 $ a = 0.05 $ 时，基测度 $ G $ 的选择无显著影响；但当 $ a = 5 $ 时，其选择影响结果，表明对高浓度参数较为敏感。
• 即使在小样本量下，估计器仍保持稳定和准确，且随着 $ n $ 增加，均方误差单调下降。
• 该估计器具有一致性，且在 $ a/n \to 0 $ 时表现最佳，支持采用小 $ a $（如 0.05）以实现最优性能。