[論文レビュー] A Bayesian Splitotic Theory For Nonparametric Models

Zuofeng Shang, Guang Cheng|arXiv (Cornell University)|Aug 17, 2015

Bayesian Methods and Mixture Models参考文献 51被引用数 10

ひとこと要約

本稿では、非パラメトリック回帰モデルに対するスケーラブルなベイズ推論フレームワークを、無理のない並列MCMCを用いて提案する。大規模なデータセットはサブセットに分割され、それぞれで独立して推論が行われ、結果が集約され、オラクル水準の精度を達成する。無限次元パrameter空間の幾何的性質のおかげで、信用区間と頻度的カバレッジの観点から、完全データ推論と正確に等価な結果が得られる。

ABSTRACT

We develop a set of scalable Bayesian inference procedures for a general class of nonparametric regression models based on embarrassingly parallel MCMC. Specifically, we first perform independent nonparametric Bayesian inference on each subset split from a massive dataset, and then aggregate those results into global counterparts. By partitioning the dataset carefully, we show that our aggregated inference results obtain the oracle rule in the sense that they are equivalent to those obtained directly from the massive data (which are computationally prohibitive in practice, though). For example, the aggregated credible sets achieve desirable credibility level and frequentist coverage possessed by the oracle counterparts (with similar radius). The oracle matching phenomenon occurs due to the nice geometric structures of the infinite-dimensional parameter space. A technical by-product is a new version of uniformly consistent test that applies to a general regression model under Sobolev norm.

研究の動機と目的

• 大規模な非パラメトリック回帰データセットにおける完全ベイズ推論の計算的非現実性に対処すること。
• 完全データの後部分布と統計的整合性を保ちながら、スケーラブルな推論手順を開発すること。
• 集約推論がオラクル完全データ推論の性能と一致することを保証する理論的保証を確立すること。
• 無限次元パrameter空間の幾何的構造を活用し、信用区間の整合性とカバレッジを保証すること。
• 一般回帰モデルに対して、Sobolevノルムの下で一様一貫性を示すテストを副産物として導出すること。

提案手法

• 大規模データセットを互いに素なサブセットに分割し、各サブセットで独立した非パラメトリックベイズ推論を実施する。
• 無理のない並列MCMCを適用し、各サブセットで孤立して後部分布の計算を実行する。
• 幾何的構造を保持する新しい重み付けと結合スキームを用いて、サブセットの後部分布結果を集約する。
• 無限次元パrameter空間の内面的幾何的構造を活用し、集約推論がオラクル後部分布と一致することを保証する。
• Sobolevノルムに基づくテストを用いて、集約推論手順の一様一貫性を確立する。
• 集約された信用区間が、オラクル対応物と同一の信用度と頻度的カバレッジを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなベイズ推論が非パラメトリックモデルにおいて、完全データ推論と同等の統計的性能を達成できるか？
• RQ2 無限次元パrameter空間のどのような幾何的性質が、集約推論における正確なオラクル一致を可能にするか？
• RQ3 データサブセットでの独立推論をどのように組み合わせれば、完全データ後部分布と同一のカバレッジを持つ信用区間を得られるか？
• RQ4 集約後部分布が頻度的妥当性と信用度を保つために満たすべき条件は何か？
• RQ5 一般回帰モデルに対して、Sobolevノルムの下で一様一貫性を示すテストを導出できるか？

主な発見

• 集約された推論結果は、信用区間のカバレッジと信用度の観点から、オラクル後部分布と正確に等価である。
• 本手法は、集約された信用区間の半径がオラクル信用区間と一致することを保証する。
• オラクル一致現象は、無限次元パrameter空間の内面的幾何的構造のおかげで実現される。
• 一般回帰モデルに対して、Sobolevノルムの下で一様一貫性を示す新しいテストが導出され、技術的副産物として得られた。
• データ分割による計算的スケーラビリティを実現しながらも、完全データ後部分布の頻度的カバレッジ特性を維持する。
• 本手法は計算的に実行可能であり、統計的性能において理論的最適性を達成する。