[论文解读] Statistical Guarantees for Data-driven Posterior Tempering

Ruchira Ray, Marco Avella Medina+1 more|arXiv (Cornell University)|Jan 14, 2026

Fractional Differential Equations Solutions被引用 0

一句话总结

本论文分析数据驱动温和化在功率后验（alpha-后验）中的作用，在alpha随机且与样本量n相关的情形下建立一致性与Bernstein–von Mises型结果，并引入对这些结果至关重要的新Laplace近似。

ABSTRACT

Posterior tempering reduces the influence of the likelihood in the calculation of the posterior by raising the likelihood to a fractional power $α$. The resulting power posterior - also known as an $α$-posterior or fractional posterior - has been shown to exhibit appealing properties, including robustness to model misspecification and asymptotic normality (Bernstein-von Mises theorem). However, practical recommendations for selecting the tempering parameter and statistical guarantees for the resulting power posterior remain open questions. Cross-validation-based approaches to tuning this parameter suggest interesting asymptotic regimes for the selected $α$, which can either vanish or behave like a mixture distribution with a point mass at infinity and the remaining mass converging to zero. We formalize the asymptotic properties of the power posterior in these regimes. In particular, we provide sufficient conditions for (i) consistency of the power posterior moments and (ii) asymptotic normality of the power posterior mean. Our analysis required us to establish a new Laplace approximation that is interesting in its own right and is the key technical tool for showing a critical threshold $α\asymp 1/\sqrt{n}$ where the asymptotic normality of the posterior mean breaks. Our results allow for the power to depend on the data in an arbitrary way.

研究动机与目标

• 通过alpha-后验将数据驱动温和化正式化为在模型不正确时的鲁棒替代方案的动机与形式化表述。
• 表征由交叉验证和其他调参方法引入的alpha_n的渐近性状。
• 建立alpha_n-后验矩的的一致性条件及alpha_n-后验均值的渐近正态性。
• 开发一种新的Laplace近似以分析数据相关温和化的影响并识别正态化的临界阈值。

提出的方法

• 定义alpha-后验：pi_{n,alpha}( heta|X^n) ∝ f_n(X^n|θ)^α π(θ)。
• 研究满足1/n << alpha_n << 1的情形并推导矩的一致性（定理1）。
• 对alpha_n-后验矩和alpha_n-后验均值证明Bernstein–von Mises型结果（推论1和推论2）。
• 开发一种新颖的Laplace近似（引理1）以量化后验均值与极大似然估计之间的距离并识别阈值alpha_n ~ 1/√n。
• 分析混合情形：alpha_n要么以正概率趋向无穷大，要么趋于0（定理3）。
• 实证考察数据驱动的alpha_n调参方法（BCV、BCV+VI、LOOCV、Train-test、SafeBayes）并通过仿真与CPS1988数据进行说明。

实验结果

研究问题

• RQ1 当alpha_n是随机且与数据相关时，alpha_n-后验的渐近性质（一致性、正态性）是什么？
• RQ2 在数据驱动的温和化情形下，Bernstein–von Mises 行为及alpha_n-后验均值的渐近正态性的必要充要条件是什么？
• RQ3 数据驱动的alpha_n调参（通过交叉验证、SafeBayes等）在渐近意义上如何表现（如趋于0、趋于无穷、或混合情形）？
• RQ4 新Laplace近正在建立这些渐近性质与识别临界阈值（例如 alpha ~ 1/√n）方面的作用？

主要发现

• 在1/n << alpha_n << 1的情形下，alpha_n-后验矩的的一致性，矩收敛到以MLE为中心的正态分布的矩。
• 在相同的情形下，Bernstein–von Mises型结果对alpha_n-后验成立，给出清晰条件表明1/n << alpha_n对BvM是必要条件。
• 当1/√n << alpha_n << 1时，alpha_n-后验均值的渐近正态性通过新的Laplace近似（引理1）得到证明。
• 在alpha_n → ∞以概率收敛的情形，alpha_n-后验在MLE处收敛为点质量（集中到MLE）。
• 在alpha_n要么以正概率发散要么趋于0的混合情形，BvM型结果可扩展到混合设定（定理3）。
• 数值与真实数据实验表明数据驱动的alpha_n可能趋于0、集中在无穷大，或呈现混合分布，支持理论所界定的情形。