[论文解读] Principled Bayesian Minimum Divergence Inference

Jack Jewson, Jim Q. Smith+1 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Statistical Methods and Models参考文献 29被引用 3

一句话总结

本文提出了一种基于贝叶斯框架的最小分歧推断方法，该方法将分歧度量从KL散度推广至任意统计分歧度量，即使在模型误设的情况下也能实现稳健且有理论依据的参数更新。通过允许用户主观选择分歧度量，该方法在多种数据场景下提升了鲁棒性和预测准确性，并在模拟数据和真实数据集上得到了实证验证。

ABSTRACT

When it is acknowledged that all candidate parameterised statistical models are misspecified relative to the data generating process, the decision maker must concern themselves with the KL-divergence minimising parameter in order to maintain principled statistical practice (Walker, 2013). However, it has long been known that the KL-divergence places a large weight on correctly capturing the tails of the data generating process. As a result traditional inference can be very non-robust. In this paper we advance recent methodological developments in general Bayesian updating (Bissiri, Holmes and Walker, 2016) to propose a statistically well principled Bayesian updating of beliefs targeting the minimisation of any statistical divergence. We improve both the motivation and the statistical foundations of existing Bayesian minimum divergence estimation (Hooker and Vidyashankar, 2014, Ghosh and Basu, 2016), for the first time allowing the well principled Bayesian to target predictions from the model that are close to the data generating process in terms of some alternative divergence measure to the KL-divergence. We argue that defining this divergence measure forms an important, subjective part of any statistical analysis. We here illustrate our method a broad array of divergence measures. We then compare the performance of the different divergence measures for conducting simple inference tasks on both simulated and real data sets, and discuss then how our methods might apply to more complicated, high dimensional models.

研究动机与目标

• 解决基于KL散度的传统贝叶斯推断的局限性，后者过度强调尾部行为，导致结果不够鲁棒。
• 将Bissiri等人（2016）提出的通用贝叶斯更新方法扩展至可最小化任意统计分歧度量，而不仅限于KL散度。
• 为贝叶斯更新提供一个统计上严谨的框架，使预测结果在用户定义的分歧度量下尽可能接近数据生成过程。
• 展示在模拟数据和真实世界数据上，采用替代分歧度量可提升鲁棒性与性能的实际优势。
• 为在复杂高维模型中应用最小分歧推断奠定基础。

提出的方法

• 将通用贝叶斯更新（Bissiri等人，2016）的方法拓展，使其可最小化任意统计分歧度量，而不仅限于KL散度。
• 提出一种灵活的贝叶斯更新方案，其中分歧度量为设计选择，从而在模型误设条件下实现有理论依据的推断。
• 在后验更新中使用基于分歧的损失函数，以分歧损失替代对数似然，指导参数学习。
• 采用广义后验形式，确保与贝叶斯原则的一致性与连贯性，同时最小化用户指定的分歧度量。
• 支持广泛的分歧度量，包括f-分歧和其它积分概率度量，以实现灵活建模。
• 通过模拟研究和真实数据应用验证该方法，比较不同分歧选择下的性能表现。

实验结果

研究问题

• RQ1 当模型误设时，如何使贝叶斯推断更具鲁棒性，特别是当KL散度导致尾部分布过拟合时？
• RQ2 能否开发一种系统性的贝叶斯框架，使其可最小化任意统计分歧度量，而不仅限于KL散度，以提升模型鲁棒性？
• RQ3 在预测准确性和参数估计方面，选择不同的分歧度量会产生哪些实际影响？
• RQ4 与传统的基于KL散度的推断相比，该方法在真实世界和模拟数据集上的表现如何？
• RQ5 该框架在高维或复杂统计模型中可如何扩展？

主要发现

• 所提出的方法可使用任意统计分歧度量实现系统性的贝叶斯推断，突破了KL散度的局限。
• 如f-分歧和积分概率度量等替代分歧度量在重尾或模型误设的情境下能带来更鲁棒的推断结果。
• 在模拟数据和真实数据上的实证结果表明，分歧度量的选择显著影响估计精度和预测性能。
• 该框架在保持与贝叶斯原则一致性和连贯性的同时，允许用户灵活指定分歧度量。
• 与标准的基于KL散度的推断相比，该方法在数据生成过程偏离模型假设时表现出更强的鲁棒性。
• 该方法具有可扩展性，适用于复杂高维模型，表明其在现代统计实践中的广泛应用潜力。