[论文解读] Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples

Yasuyuki Hamura|arXiv (Cornell University)|Oct 6, 2020

Advanced Statistical Methods and Models参考文献 37被引用 2

一句话总结

本文为非平衡负多项式模型开发了贝叶斯收缩估计量和预测密度，提出了一种新的经验贝叶斯估计量，在标准化平方误差损失下优于UMVU估计量，并引入了一种分层收缩先验，其在Kullback-Leibler散度下优于Jeffreys先验。主要贡献在于在非平衡设置下，对估计和预测问题均实现了有限样本中的支配性结果，将先前在泊松和多项式模型中的收缩估计与预测密度支配性结果推广至更一般的、样本大小和损失权重可能不相等的负多项式情形。

ABSTRACT

In this paper, we treat estimation and prediction problems where negative multinomial variables are observed and in particular consider unbalanced settings. First, the problem of estimating multiple negative multinomial parameter vectors under the standardized squared error loss is treated and a new empirical Bayes estimator which dominates the UMVU estimator under suitable conditions is derived. Second, we consider estimation of the joint predictive density of several multinomial tables under the Kullback-Leibler divergence and obtain a sufficient condition under which the Bayesian predictive density with respect to a hierarchical shrinkage prior dominates the Bayesian predictive density with respect to the Jeffreys prior. Third, our proposed Bayesian estimator and predictive density give risk improvements in simulations. Finally, the problem of estimating the joint predictive density of negative multinomial variables is discussed.

研究动机与目标

• 解决涉及非负多项式样本的非平衡设置下的估计与预测问题，其中不同参数的样本大小、向量长度和损失函数权重可能不同。
• 将收缩估计与预测密度支配性的决策理论结果从泊松和平衡模型推广至更一般的非平衡负多项式情形。
• 开发一种新的经验贝叶斯估计量，使其在标准化平方误差损失下优于UMVU估计量，即使在样本大小和权重非平衡时亦成立。
• 推导出贝叶斯预测密度在分层收缩先验下相对于Jeffreys先验在联合预测密度估计的Kullback-Leibler风险中实现支配的充分条件。
• 研究多个负多项式观测值的贝叶斯预测密度在有限样本下的性质，推广先前的渐近结果。

提出的方法

• 通过在分层收缩先验下使用最大似然法推导出一种新的经验贝叶斯估计量，在非平衡设置下实现了对UMVU估计量在标准化平方误差损失下的支配性。
• 将收缩估计量的支配条件推广至非平衡情形，涵盖样本大小、向量长度和损失权重的不平衡。
• 采用具有伽马尺度参数上混合分布的分层先验结构以诱导收缩，从而实现更优的风险表现。
• 将Kullback-Leibler散度用作预测密度估计的损失函数，并通过矩生成函数和涉及归一化常数G(τ, Z(τ))的积分恒等式推导出支配条件。
• 通过多项式混合分布的期望表示Kullback-Leibler散度，并使用测度变换技术比较后验预测分布。
• 建立风险差异与后验矩之间Kullback-Leibler散度之间的联系，从而实现支配性的解析证明。

实验结果

研究问题

• RQ1 能否构建一种贝叶斯收缩估计量，使其在非平衡负多项式估计中，于标准化平方误差损失下优于UMVU估计量？
• RQ2 在何种条件下，采用分层收缩先验的贝叶斯预测密度在联合预测密度估计的Kullback-Leibler风险中优于采用Jeffreys先验的预测密度？
• RQ3 当样本大小和损失权重非平衡时，收缩带来的风险改进在有限样本中如何体现？
• RQ4 泊松模型中的支配性结果能否推广至负多项式分布，特别是在存在重叠多项式表的场景中？
• RQ5 混合分布与尺度参数在非平衡模型中实现估计与预测风险降低方面起什么作用？

主要发现

• 所提出的通过在分层收缩先验下使用最大似然法推导出的经验贝叶斯估计量，在非平衡设置下对UMVU估计量具有支配性，且已为一般收缩形式建立支配条件。
• 推导出一个充分条件，使得在分层收缩先验下的贝叶斯预测密度在联合预测密度估计的Kullback-Leibler风险中优于Jeffreys先验下的预测密度。
• 通过后验预测矩之间Kullback-Leibler散度的分析，对风险改进进行了定量刻画，表明分层先验可产生更小的随机风险。
• 模拟研究证实，所提出的估计量和预测密度相较于基线方法显著降低了风险，尤其在非平衡配置下表现更优。
• 支配性结果在有限样本中成立，与先前的渐近结果形成对比，且将决策理论框架推广至具有重叠或依赖表格的负多项式模型。
• 本文建立了估计与预测支配性之间的正式联系，表明在非平衡条件下，相似的收缩机制可同时提升两种范式的表现。