[論文レビュー] Nonparametric Bayesian Aggregation for Massive Data

Zuofeng Shang, Botao Hao+1 more|arXiv (Cornell University)|Aug 17, 2015

Statistical Methods and Inference参考文献 30被引用数 3

ひとこと要約

本稿では、データをサブセットに分割し、各サブセットで独立にガウス過程の事後分布推論を実行した後、追加計算を要せず局所的な結果を解析的に統合することで、大規模データセット向けのスケーラブルな非パラメトリックベイズ推論フレームワークを提案する。この手法は、適切な事前分布およびサブセットサイズの選択のもと、完全データから計算されたものと同等の性能を示す：統合された信頼域（credible ball）は、半径、信頼性、および頻度主義的カバレッジの面でオラクルに近い性能を達成する。

ABSTRACT

We develop a set of scalable Bayesian inference procedures for a general class of nonparametric regression models. Specifically, nonparametric Bayesian inferences are separately performed on each subset randomly split from a massive dataset, and then the obtained local results are aggregated into global counterparts. This aggregation step is explicit without involving any additional computation cost. By a careful partition, we show that our aggregated inference results obtain an oracle rule in the sense that they are equivalent to those obtained directly from the entire data (which are computationally prohibitive). For example, an aggregated credible ball achieves desirable credibility level and also frequentist coverage while possessing the same radius as the oracle ball.

研究の動機と目的

• 大規模な非パラメトリック回帰データ向けに、計算効率の良いベイズ推論手順を開発すること。
• データサイズの制限下における非パラメトリックベイズモデルの不確実性の定量化を扱うこと。
• 統合された事後分布結果が、ベイズ的および頻度主義的妥当性（例：カバレッジと信頼性）を両方維持することを保証すること。
• 一様 Bernstein-von Mises 定理のもとで統合の理論的保証を確立すること。
• 推定と信頼領域構築における統計的最適性を保ちながら、計算コストを最小限に抑えること。

提案手法

• データセットをランダムに複数のサブセットに分割し、分散処理を可能にする。
• 各サブセットに対してガウス過程事前分布を用いて非パラメトリックベイズ回帰を独立に実行する。
• 各サブセットでMCMCを用いて事後平均と信頼域を計算し、関数型を有限フーリエ展開によって近似する。
• 個々の事後モードのフーリエ係数を重み付き平均化することで、グローバル事後平均を構築する。
• 個々の半径を組み合わせる明示的公式を用いて、グローバル信頼域半径を計算し、再計算を回避する。
• 統合プロセスは完全に解析的であり、局所的推論を超えて追加計算コストを発生させない。

実験結果

リサーチクエスチョン

• RQ1 大規模非パラメトリック回帰の分散ベイズ推論は、完全データに対する推論と同等の統計的性能を達成できるか？
• RQ2 局所的事後分布をどのように統合すれば、最適な頻度主義的カバレッジと信頼水準を持つグローバル事後分布が得られるか？
• RQ3 信頼域半径とカバレッジがオラクル信頼域と一致するための、サブセット数および事前分布選択の条件は何か？
• RQ4 統合プロセスは、完全データ事後平均の最適推定レートを保持できるか？
• RQ5 局所的事後分布がサブセット全体にわたり一様にガウス過程に収束するための理論的基盤は何か？

主な発見

• 統合された事後平均は、完全データから得られるオラクルレートと同等の非パラメトリック推定レートを達成する。
• 適切な事前分布およびサブセットサイズの選択のもと、統合された信頼域はオラクル信頼域と漸近的に同じ半径を持つ。
• 真のモデルのもとで、統合された信頼域は所望の信頼水準（1−α）および頻度主義的カバレッジ確率（1−α）を維持する。
• 本手法は、完全データから得られる結果と統計的に同等であるため、オラクルルールを達成する。
• 理論的基盤は、一様非パラメトリックガウス近似定理（一様 Bernstein-von Mises）に依拠しており、サブセット数にわたる局所的事後分布が一様にガウス過程に収束することを保証する。
• データサイズが増加するに従い、計算速度が著しく向上する。統合は解析的であり、局所的MCMCサンプリングを超えて追加コストを発生させない。