[论文解读] Bayesian Brittleness: Why no Bayesian model is "good enough"

Houman Owhadi, Clint Scovel+1 more|arXiv (Cornell University)|Apr 24, 2013

Probabilistic and Robust Engineering Design参考文献 74被引用 2

一句话总结

本文揭示了贝叶斯推断存在极端脆弱性：即使模型与真实数据生成分布的任意多个有限维边缘分布完全匹配，或在普罗霍罗夫（Prokhorov）或总变差度量下与真实分布任意接近，仍可能产生任意错误的后验预测。本研究采用最优不确定性量化（OUQ）框架推导出紧致边界，表明‘足够接近’的模型仍可能导致最坏情况下的后验结果。

ABSTRACT

Although it is known that Bayesian estimators may fail to converge or may con-verge towards the wrong answer (i.e. be inconsistent) if the probability space is not finite or if the model is misspecified (i.e. the data-generating distribution does not belong to the family parametrized by the model), it is also a popular belief that a “good ” or “close ” enough model should have good convergence properties. This paper incorporates Bayesian priors into the Optimal Uncertainty Quantifica-tion (OUQ) framework [86] and in doing so reveals extreme brittleness in Bayesian inference. These brittleness results demonstrate that, contrary to popular belief, there is no such thing as a “close enough ” model in Bayesian inference in the follow-ing sense: we derive optimal lower and upper bounds on posterior values obtained from models that exactly capture an arbitrarily large (but finite) number of finite-dimensional marginals of the data-generating distribution and/or that are arbitrarily close to the data-generating distribution in the Prokhorov or total variation metrics; these bounds show that such models may still make the largest possible prediction

研究动机与目标

• 挑战人们普遍认为‘足够好’或‘足够接近’的贝叶斯模型可确保可靠推断的信念。
• 探究与真实分布匹配大量有限维边缘分布，或在分布度量下接近真实分布的模型，是否仍能产生鲁棒的后验预测。
• 在对模型误设的最小假设下，量化贝叶斯后验估计中最坏情况下的误差。
• 证明模型结构或分布接近度的微小偏差，都可能导致后验推断中出现任意大的误差。

提出的方法

• 将贝叶斯先验纳入最优不确定性量化（OUQ）框架，以分析最坏情况下的后验行为。
• 推导在精确匹配真实数据生成分布的大量但有限个有限维边缘分布的模型集合上，后验值的最优下界和上界。
• 考虑在普罗霍罗夫（Prokhorov）或总变差度量下与真实分布任意接近的模型。
• 使用变分优化技术，在这些约束下计算后验期望的最紧可能边界。
• 分析后验分布对模型空间中微小扰动的敏感性。
• 证明这些边界与样本量无关，在数据无限时仍保持极端性。

实验结果

研究问题

• RQ1 一个与真实分布匹配大量有限维边缘分布的贝叶斯模型，是否仍可能产生任意错误的后验预测？
• RQ2 当模型在普罗霍罗夫（Prokhorov）或总变差度量下接近真实分布时，后验鲁棒性如何退化？
• RQ3 是否存在一个模型接近度的阈值，超过该阈值后贝叶斯推断即变得可靠？还是脆弱性在任何接近度下均持续存在？
• RQ4 当模型被约束为匹配边缘分布或在分布度量下接近时，后验值的最紧可能边界是什么？
• RQ5 即使在无限数据条件下，最坏情况下的后验误差是否可独立于样本量进行量化？

主要发现

• 即使模型精确匹配真实数据生成分布的任意多个有限维边缘分布（数量有限但任意大），其后验值仍可能与真实值相距任意远。
• 在普罗霍罗夫（Prokhorov）或总变差度量下与真实分布任意接近的模型，其后验边界仍覆盖了感兴趣量的整个可能范围。
• 无论样本量多大，最坏情况下的后验误差始终保持极端，表明即使在无限数据下，也未必能收敛到正确的后验分布。
• 脆弱性并非源于模型误设本身，而是源于贝叶斯更新对模型空间中微小变化的敏感性。
• 通过OUQ框架推导出的边界是最优的，表明无法保证任何‘足够接近’的模型都能产生可靠的推断。
• 这些结果意味着，在贝叶斯推断中‘足够好’模型的概念本质上是错误的，因为其对模型扰动存在固有敏感性。