[论文解读] A Bayesian Splitotic Theory For Nonparametric Models

Zuofeng Shang, Guang Cheng|arXiv (Cornell University)|Aug 17, 2015

Bayesian Methods and Mixture Models参考文献 51被引用 10

一句话总结

本文提出了一种可扩展的贝叶斯推断框架，用于非参数回归模型，采用毫不费力的并行MCMC方法，其中大规模数据集被划分为子集以独立进行推断，结果通过聚合实现与oracle水平相当的精度。由于无限维参数空间的几何特性，该方法在可信区间和频率学覆盖方面与完整数据推断完全等价。

ABSTRACT

We develop a set of scalable Bayesian inference procedures for a general class of nonparametric regression models based on embarrassingly parallel MCMC. Specifically, we first perform independent nonparametric Bayesian inference on each subset split from a massive dataset, and then aggregate those results into global counterparts. By partitioning the dataset carefully, we show that our aggregated inference results obtain the oracle rule in the sense that they are equivalent to those obtained directly from the massive data (which are computationally prohibitive in practice, though). For example, the aggregated credible sets achieve desirable credibility level and frequentist coverage possessed by the oracle counterparts (with similar radius). The oracle matching phenomenon occurs due to the nice geometric structures of the infinite-dimensional parameter space. A technical by-product is a new version of uniformly consistent test that applies to a general regression model under Sobolev norm.

研究动机与目标

• 为解决在大规模非参数回归数据集上执行完整贝叶斯推断的计算不可行性。
• 开发一种可扩展的推断程序，保持与完整数据后验分布的统计保真度。
• 建立理论保证，使聚合推断与oracle完整数据推断性能相当。
• 利用无限维参数空间中的几何结构，确保可信区间的一致性和覆盖性。
• 作为副产品，为一般回归模型推导出在Sobolev范数下的统一一致检验。

提出的方法

• 将大规模数据集划分为不相交的子集，以在每个子集上独立进行非参数贝叶斯推断。
• 应用毫不费力的并行MCMC，在每个子集上独立执行后验计算。
• 使用一种新颖的加权与组合方案聚合子集后验结果，以保持几何结构。
• 利用无限维参数空间的内在几何结构，确保聚合推断与oracle后验一致。
• 利用基于Sobolev范数的检验，建立聚合推断程序的统一一致性。
• 证明聚合后的可信区间在可信度水平和频率学覆盖方面与oracle对应物完全一致。

实验结果

研究问题

• RQ1 可扩展的非参数模型贝叶斯推断能否实现与完整数据推断相当的统计性能？
• RQ2 无限维参数空间的何种几何特性使得聚合推断能够实现与oracle的精确匹配？
• RQ3 如何将数据子集上的独立推断结果组合，以获得与完整数据后验具有相同覆盖性的可信区间？
• RQ4 在何种条件下，聚合后验能保持频率学有效性与可信度？
• RQ5 能否为一般回归模型在Sobolev范数下推导出统一一致的检验？

主要发现

• 聚合推断结果在可信区间覆盖性和可信度水平方面与oracle后验完全等价。
• 该方法确保聚合可信区间的半径与oracle可信区间的半径一致。
• oracle匹配现象由无限维参数空间的内在几何结构所促成。
• 作为技术副产品，为一般回归模型在Sobolev范数下推导出一种新的统一一致检验。
• 该方法在通过数据分割实现计算可扩展性的同时，保持了完整数据后验的频率学覆盖特性。
• 该方法计算上可行，并在统计性能上达到理论最优性。