[论文解读] Constrained Bayesian Inference through Posterior Projections

Sayan Patra, David B. Dunson|arXiv (Cornell University)|Dec 14, 2018

Statistical Methods and Inference参考文献 36被引用 11

一句话总结

本文提出了一种通过后验投影进行约束贝叶斯推断的一般性框架，其中从无约束后验中抽取的样本通过最小距离映射投影到约束参数空间。在特定条件下，该方法确保投影后的后验是有效的贝叶斯后验，并保持渐近频率学性质，从而在复杂且受约束的模型（包括无限维函数空间）中实现可处理的推断。

ABSTRACT

In a broad variety of settings, prior information takes the form of parameter restrictions. Bayesian approaches are appealing in parameter constrained problems in allowing a probabilistic characterization of uncertainty in finite samples, while providing a computational machinery for incorporation of complex constraints in hierarchical models. However, the usual Bayesian strategy of directly placing a prior measure on the constrained space, and then conducting posterior computation with Markov chain Monte Carlo algorithms is often intractable. An alternative is to initially conduct computation for an unconstrained or less constrained posterior, and then project draws from this initial posterior to the constrained space through a minimal distance mapping. This approach has been successful in monotone function estimation but has not been considered in broader settings. In this article, we develop a general theory to justify posterior projections in general spaces including for infinite-dimensional functional parameters. For tractability, we initially focus on the case in which the constrained parameter space corresponds to a closed, convex subset of the original space. A special class of non-convex sets called Stiefel manifolds is explored later in the paper. We provide a general formulation of the projected posterior and show that it corresponds to a valid posterior distribution on the constrained space for particular classes of priors and likelihood functions. We also show how asymptotic properties of the unconstrained posterior are transferred to the projected posterior. Posterior projections are then illustrated through multiple examples, both in simulation studies and real data applications.

研究动机与目标

• 为解决在高维或无限维设定下，约束参数空间上直接贝叶斯计算的不可行性。
• 为后验投影建立一般性的理论基础，以证明其在单调函数估计之外的应用合理性。
• 证明在特定类别的先验和似然下，投影后的后验是有效的贝叶斯后验。
• 建立投影后验的渐近频率学性质，确保其一致性和效率。
• 将该框架扩展至非凸集（如Stiefel流形），以扩大其适用范围。

提出的方法

• 使用最小距离映射（通常为L2投影）将无约束后验的抽样结果投影到约束参数空间。
• 将投影后的后验定义为无约束后验在投影映射下的前向像（pushforward）。
• 建立投影后验在约束空间上对应于有效后验分布的条件，尤其当约束集为闭凸集时。
• 利用泛函分析工具将该框架扩展至无限维参数空间（如函数空间）。
• 分析投影后验的渐近行为，证明其继承了无约束后验的一致性和集中性性质。
• 在模拟研究和真实数据上应用该方法，验证其在实际中的可行性与鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，后验投影能在约束参数空间上产生有效的贝叶斯后验？
• RQ2 无约束后验的渐近性质如何传递到投影后的后验？
• RQ3 后验投影框架能否扩展至非凸约束集（如Stiefel流形）？
• RQ4 在约束贝叶斯推断中，使用最小距离投影的理论依据是什么？
• RQ5 与直接的约束计算相比，投影后验在有限样本下的表现如何？

主要发现

• 当约束集为闭凸集且先验与似然满足温和正则性条件时，投影后验是有效的贝叶斯后验。
• 在正则性条件下，该方法保持了无约束后验的渐近集中性和一致性性质。
• 该框架可扩展至无限维函数空间，从而实现非参数模型中的约束推断。
• 对于Stiefel流形，投影后验保持了理想的频率学性质，显示出广泛的应用潜力。
• 模拟研究与真实数据研究证实了该方法在复杂高维设定下的实用性和鲁棒性。
• 该方法避免了在约束空间上直接计算后验的不可行性，提供了一种可扩展的替代方案。