[论文解读] Inferences from prior-based loss functions

Michael Evans, Gun Ho Jang|arXiv (Cornell University)|Apr 16, 2011

Bayesian Modeling and Causal Inference参考文献 16被引用 8

一句话总结

本文引入基于先验的损失函数，通过相对似然比生成不变且贝叶斯无偏的推断，为相对似然推断提供了决策理论基础。证明了这些推断收敛于与最高后验密度（HPD）区域相同的极限，并在参数重参数化下保持不变，为基于MAP的方法提供了一种稳健的替代方案。

ABSTRACT

Inferences that arise from loss functions determined by the prior are considered and it is shown that these lead to limiting Bayes rules that are closely connected with likelihood. The procedures obtained via these loss functions are invariant under reparameterizations and are Bayesian unbiased or limits of Bayesian unbiased inferences. These inferences serve as well-supported alternatives to MAP-based inferences.

研究动机与目标

• 开发相对似然推断的决策理论基础，使其在重参数化下保持不变。
• 解决MAP推断在参数平滑变换下不不变的问题。
• 建立基于先验损失函数的相对似然推断与贝叶斯决策规则之间的联系。
• 证明相对似然推断是贝叶斯无偏程序的极限，并具备最优的频发性质。
• 提供一种在重参数化下保持不变性和一致性的MAP估计的有力替代方案。

提出的方法

• 定义一种基于先验密度的损失函数，其后验风险最小化可诱导出相对似然推断。
• 构建可信区域 $ C_{\nu}(x) = \{ \psi : \pi_{\Psi}(\psi|x)/\pi_{\Psi}(\psi) \geq c_{\nu}(x) \} $，其中比值衡量从先验到后验信念的变化。
• 通过局部邻域构造一系列近似区域 $ C_{\lambda,\gamma}(x) $，以确保收敛至相对似然区域。
• 利用 $ \Pi_{\Psi}(C_{\lambda,\gamma}(x)|x) $ 在 $ \lambda \to 0 $ 时的极限来定义 $ \gamma $-可信区域，确保与相对似然原则的一致性。
• 应用收敛定理，证明当 $ \lambda \to 0 $ 时，$ C_{\lambda,\gamma}(x) \to C_{\gamma}(x) $ 在后验概率下成立，建立渐近等价性。
• 证明极限区域 $ C_{\gamma}(x) $ 与相对似然区域等价，并继承其不变性和最优性特征。

实验结果

研究问题

• RQ1 基于先验的损失函数能否生成在重参数化下不变的推断？
• RQ2 基于先验-后验密度比的相对似然推断与MAP推断相比，在决策理论最优性方面有何差异？
• RQ3 基于先验损失函数的推断是否收敛至具有明确定义的极限，且保持贝叶斯无偏性？
• RQ4 基于先验损失函数的极限区域与标准相对似然区域之间存在何种关系？
• RQ5 这些推断能否在适当的决策理论准则下被证明属于所有贝叶斯推断中的最优类？

主要发现

• 基于先验损失函数导出的极限贝叶斯规则在重参数化下保持不变，解决了MAP估计的关键缺陷。
• 所得推断与已知在频发性质和不变性方面最优的相对似然区域等价。
• 当 $ \lambda \to 0 $ 时，收敛性 $ C_{\lambda,\gamma}(x) \to C_{\gamma}(x) $ 在后验概率下成立，确保了近似的稳定性。
• 最小相对似然估计量（LRSE），定义为 $ \pi_{\Psi}(\psi|x)/\pi_{\Psi}(\psi) $ 的最大化者，被证明是极限贝叶斯规则。
• 该方法生成的可信区域既具有不变性，又是贝叶斯无偏推断的极限，满足强决策理论标准。
• 本文证明了极限区域 $ C_{\gamma}(x) $ 与通过相对似然推导出的区域相同，确认了其最优性和一致性。