[論文レビュー] Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures

Catia Scricciolo|arXiv (Cornell University)|Oct 30, 2012

Bayesian Methods and Mixture Models参考文献 37被引用数 4

ひとこと要約

本稿では、Pitman-Yor または正規化逆ガンマ分布過程のカーネル混合を事前分布として用いる適応的ベイズ密度推定を提案し、Sobolev 関数および解析的密度に対して $L^p$-ノルムの下で、対数要因を除いて最小最大最適な事後収縮率を達成する。主な貢献は、滑らかさクラス全体にわたる階層ベイズ手順の頻度論的最適性を確立したことであり、解析的密度に対してはほぼパラメトリックな収縮率が得られ、Sobolev 現象に対しては特定の事前分布のもとで最適な収縮率が達成される。

ABSTRACT

We consider Bayesian nonparametric density estimation using a Pitman-Yor or a normalized inverse-Gaussian process kernel mixture as the prior distribution for a density. The procedure is studied from a frequentist perspective. Using the stick-breaking representation of the Pitman-Yor process or the expression of the finite-dimensional distributions for the normalized-inverse Gaussian process, we prove that, when the data are replicates from an infinitely smooth density, the posterior distribution concentrates on any shrinking $L^p$-norm ball, $1\leq p\leq\infty$, around the sampling density at a \emph{nearly parametric} rate, up to a logarithmic factor. The resulting hierarchical Bayesian procedure, with a fixed prior, is thus shown to be adaptive to the infinite degree of smoothness of the sampling density.

研究の動機と目的

• Pitman-Yor または正規化逆ガンマ分布（NIG）過程の事前分布を用いたベイズ非パラメトリック密度推定の頻度論的事後収縮率を研究すること。
• 従来のディリクレ過程を超えて、より一般の過程を用いて、Sobolev および解析的密度クラスにおける適応的推定を拡張すること。
• $L^p$-ノルム、特に $p > 2$ の場合におけるカーネル混合モデルの性能を評価し、事前分布の選択が収束速度に与える影響を検討すること。
• さまざまな滑らかさレベルにおいて、事後収縮率が最小最大最適性（対数要因を除いて）を達成するための条件を確立すること。

提案手法

• Pitman-Yor 過程のためのスティックブレイキング表現と、正規化逆ガンマ分布過程の有限次元分布を用いて事前分布を特徴付ける。
• 一般のカーネル（例えば、スーパー・カーネル）を用いたカーネル混合を用いて密度を近似し、特に解析関数のフーリエ変換の性質を活用する。
• 近似理論を用いて、Kullback-Leibler 距離の正しいオーダーの誤差を達成する有限サポートを持つ混合測度を構築する。
• 混合分布の $L^1$-ボールのメトリックエントロピーの境界を用いて、事前分布の集中と事後収縮を制御する。
• 対称的かつ単調減少するカーネルの性質を用いて、異なる分散を持つ混合分布間の $L^1$-距離の境界を確立する。
• 補題 0.7.9 及び関連結果を活用し、compactly supported 混合測度を持つ混合分布の $\sup$-ノルム近似誤差に対する一様境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 Pitman-Yor または正規化逆ガンマ分布過程の事前分布は、非パラメトリック密度推定における $L^p$-ノルムの下で、最小最大最適な事後収縮率を達成できるか？
• RQ2 Pitman-Yor 過程におけるディスcount パrameter が、特に $p > 2$ の場合、事後収縮率に与える影響は何か？
• RQ3 これらの事前分布を用いることで、解析的密度に対してほぼパラメトリックな収縮率を達成できるか？その場合、どのような条件下で達成されるか？
• RQ4 カーネルの選択（例えば、スーパー・カーネル）が、近似精度およびそれに続く事後集中に与える影響は何か？
• RQ5 この枠組みにおいて、事前分布の集中とメトリックエントロピーの境界が、事後収縮率にどの程度影響を及けるか？

主な発見

• Sobolev 密度に対しては、ディリクレ分布または正規化逆ガンマ分布過程の事前分布を用いる場合、$p \in [1,2]$ の $L^p$-ノルムの下で、真の密度への事後収縮率が最小最大最適（対数要因を除く）となる。
• $p > 2$ の場合、同じ事前分布のもとで、事後収縮率は $n$ の真のべき乗によって劣化し、高次の $L^p$-ノルムでは最適性が失われることを示唆する。
• 正のディスカウントパラメータを有する Pitman-Yor 過程を用いる場合、事後収縮率は期待上、最適でないが、形式的な証明は提供されていない。
• フーリエ変換が指数的に減衰する解析的密度に対しては、ほぼパラメトリックな事後収縮率が達成され、フーリエ変換の特徴的指数が自動的に回復される。
• 近似補題（補題 0.6.1）により、真の密度を Kullback-Leibler 発散の正しいオーダーの誤差で近似する有限サポートを持つ混合分布の構築が可能であり、これは解析的ケースにおいて極めて重要である。
• 混合分布の $L^1$-ボールのメトリックエントロピーの境界が導出され、$\varepsilon$ および $s$ に対して対数的依存性を示し、$r > 1$ の場合に $N \lesssim (a/s)^{r/(r-1)}$ が成り立つ。この境界は、事前分布の集中を制御する。