[论文解读] Modification of Bayesian Updating where Continuous Parameters have Differing Relationships with New and Existing Data

Nicholas Lewis|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Bayesian Inference参考文献 9被引用 4

一句话总结

本文提出了一种修正的贝叶斯更新方法，解决了连续参数与现有数据和新数据关系不一致时产生的不一致性问题，特别是在非信息先验下。通过一次性应用贝叶斯定理，同时更新先验和似然函数，该方法确保了无论数据顺序如何，推断结果均具客观性，数值测试表明其在概率匹配方面表现更优。

ABSTRACT

Bayesian analyses are often performed using so-called noninformative priors, with a view to achieving objective inference about unknown parameters on which available data depends. Noninformative priors depend on the relationship of the data to the parameters over the sample space. Combining Bayesian updating - multiplying an existing posterior density for parameters being estimated by a likelihood function derived from independent new data that depend on those parameters and renormalizing - with use of noninformative priors gives rise to inconsistency where existing and new data depend on continuous parameters in different ways. In such cases, noninformative priors for inference from only the existing and from only the new data would differ, so Bayesian updating would give different final posterior densities depending on which set of data was used to derive an initial posterior and which was used to update that posterior. I propose a revised Bayesian updating method, which resolves this inconsistency by updating the prior as well as the likelihood function, and involves only a single application of Bayes' theorem. The revised method is also applicable where actual prior information as to parameter values exists and inference that objectively reflects the existing information as well as new data is sought. I demonstrate by numerical testing the probability-matching superiority of the proposed revised updating method, in two cases.

研究动机与目标

• 解决连续参数与现有数据和新数据关系不同时，贝叶斯更新中出现的不一致性问题。
• 解决分别从现有数据和新数据中推导出的非信息先验导致后验分布不同的问题。
• 开发一种统一的更新程序，确保无论数据处理顺序如何，推断均保持客观性和一致性。
• 将该方法扩展至存在实际先验信息的情形，确保从先验知识和新数据中得出一致的推断。
• 通过实证结果表明，修正后的方法在贝叶斯推断中改善了概率匹配性能。

提出的方法

• 该方法通过同时更新先验和似然函数，而非将后验视为新先验，对标准贝叶斯更新进行修正。
• 仅应用一次贝叶斯定理，使用联合似然函数，将现有数据和新数据以尊重其与参数不同关系的方式整合。
• 该方法采用经过修改的似然函数，以体现现有数据集和新数据集中参数与数据关系的差异。
• 确保最终后验分布对数据集处理顺序具有不变性，从而消除对任意数据排序的依赖。
• 该方法适用于非信息先验和弱信息先验，支持客观推断。
• 该方法基于统计决策理论，旨在保持频率学派的概率匹配特性。

实验结果

研究问题

• RQ1 如何修改贝叶斯更新方法，以确保当现有数据和新数据与连续参数的关系不同时，推断结果保持一致？
• RQ2 不同参数-数据关系对顺序更新中非信息先验选择有何影响？
• RQ3 是否可以仅通过一次贝叶斯定理的应用，同时更新先验和似然函数，以保持客观推断？
• RQ4 与标准贝叶斯更新相比，该修正方法在参数-数据关系不对称的情况下是否改善了概率匹配？
• RQ5 当存在实际先验信息（除新数据外）时，该方法的性能如何？

主要发现

• 修正的贝叶斯更新方法解决了当现有数据和新数据与连续参数关系不同时，后验分布出现不一致的问题。
• 该方法确保最终后验分布对数据处理顺序具有不变性，消除了对任意数据排序的依赖。
• 数值测试表明，该方法在两个测试案例中相比标准贝叶斯更新实现了更优的概率匹配。
• 概率匹配的改进在数量上具有显著意义，表明可信区间具有更好的频率学派覆盖性能。
• 即使存在关于参数的实际先验信息，该方法仍保持有效性和一致性，维持了推断的客观性。
• 该方法为复杂数据场景下存在异质参数依赖关系的情形，提供了原则性更强的替代标准贝叶斯更新方案。