[論文レビュー] MCMC-free adaptive Bayesian procedures using random series prior

Weining Shen, Subhashis Ghosal|arXiv (Cornell University)|Apr 19, 2012

Gaussian Processes and Bayesian Inference参考文献 41被引用数 3

ひとこと要約

本稿では、非パラメトリックベイズ推論のための新たなランダム系列事前分布を提案する。この事前分布は、基底関数の数が確率的であることを特徴とし、MCMCに依存せずに、あらゆる滑らかさのレベルで適応的後部収縮率を達成できる。この手法は計算を単純化し、直接的な解析的手法によりガウス過程事前分布と同等の性能を達成する。

ABSTRACT

We consider priors for several nonparametric Bayesian models which use finite random series with a random number of terms. The prior is constructed through distributions on the number of basis functions and the associated coefficients. We derive a general result on the construction of an appropriate sieve and obtain adaptive posterior contraction rates for all smoothness levels of the function in the true model. We apply this general result on several statistical problems such as signal processing, density estimation, nonparametric additive regression, classification, spectral density estimation, functional regression etc. The prior can be viewed as an alternative to commonly used Gaussian process prior, but can be analyzed by relatively simpler techniques and in many cases allows a simpler approach to computation without using Markov chain Monte-Carlo (MCMC) methods. A simulation study was conducted to show that the performance of the random series prior is comparable to that of a Gaussian process prior.

研究の動機と目的

• MCMC計算を回避しつつ理論的最適性を維持する非パラメトリックベイズ事前分布の開発。
• 非パラメトリックモデルにおけるさまざまな滑らかさレベルでの適応的後部収縮の課題の解決。
• ガウス過程事前分布の代替として、計算が効率的で解析が単純な手法の提供。
• 密度推定、回帰、スペクトル解析といった多様な統計的問題を、統一的な事前分布フレームワークで統合的に分析すること。

提案手法

• ランダムな係数を伴うランダムな数の基底関数を用いて事前分布を構築し、柔軟な非パラメトリックモデリングを可能にする。
• あらゆる滑らかさレベルで最適なレートでの後部集中を保証する一般化されたシーブベースの構成法を導出する。
• 基底関数展開を用いて、加法的回帰、分類、関数的回帰などの複数のモデルにこの事前分布を適用する。
• ランダムな打ち切りを伴う有限ランダム系列を用いて、適応性と計算の単純さを実現する。
• MCMCを回避する解析的手法を採用し、後部分布の直接計算を可能にする。
• 正則性条件の下で、この事前分布がミニマックス最適な収縮率を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダムな基底関数の数を有するランダム系列事前分布は、MCMCを用いずに、あらゆる滑らかさレベルで適応的後部収縮を達成できるか？
• RQ2 推定精度と計算効率の観点から、この事前分布はガウス過程事前分布と比べてどのように性能を発揮するか？
• RQ3 本手法は、密度推定やスペクトル解析といった多様な非パラメトリック問題に体系的に適用可能か？
• RQ4 この事前分布フレームワーク下での後部集中に対して、どのような理論的保証を確立できるか？
• RQ5 この手法の計算の単純さは、さまざまな統計的モデルにおいても維持されるか？

主な発見

• 提案されたランダム系列事前分布は、真の関数のあらゆる滑らかさレベルで適応的後部収縮率を達成する。
• この手法はMCMCフリーの計算を可能とし、標準的なガウス過程事前分布と比較して実装が著しく単純化される。
• 理論的解析により、後部が最適なレートで収縮することが確認され、ミニマックス下界と一致する。
• シミュレーション結果は、推定精度と収束性においてガウス過程事前分布と同等の性能を示す。
• 本手法は、信号処理、密度推定、関数的回帰など、多数の非パラメトリックモデルに広く適用可能である。
• ランダムな基底関数の数と係数の使用により、ハイパーパrameterのチューニングなしに自動的なモデル選択と適応性が実現される。