[論文レビュー] Adaptive Convergence Rates of a Dirichlet Process Mixture of Multivariate Normals

Surya T. Tokdar|arXiv (Cornell University)|Nov 17, 2011

Bayesian Methods and Mixture Models参考文献 17被引用数 5

ひとこと要約

本稿は、スティック・ブレイキング事前分布に基づく新しいシーブ構成を導入することで、任意次元における多変量正規分布のディリクレ過程混合モデルの適応的後方分布収束速度を確立した。この手法は、調整パrameterを必要とせず、無限に滑らかな密度およびコンパクトに台を持つ2回微分可能な密度の両方において最小最大最適な収束速度を達成し、ベイズ非パラメトリック密度推定における滑らかさの適応性を示した。

ABSTRACT

It is shown that a simple Dirichlet process mixture of multivariate normals offers Bayesian density estimation with adaptive posterior convergence rates. Toward this, a novel sieve for non-parametric mixture densities is explored, and its rate adaptability to various smoothness classes of densities in arbitrary dimension is demonstrated. This sieve construction is expected to offer a substantial technical advancement in studying Bayesian non-parametric mixture models based on stick-breaking priors.

研究の動機と目的

• 多変量設定におけるディリクレ過程混合モデルの後方分布収束速度に関する理論的保証が、一変量ケースを超えて不足しているという問題に取り組む。
• 異なる滑らかさクラスの密度に適応可能で次元スケーラビリティを保証するシーブ構成を開発する。
• 単純な多変量正規分布のDP混合モデルが、さまざまな滑らかさクラスにおいて適応的かつ最小最大最適な後方分布収束速度を達成できることを示す。
• DPを越えたスティック・ブレイキング混合モデルの研究のための技術的基盤を提供する。
• ユーザーが指定する調整パrameterなしにDP混合モデルが滑らかさクラスに適応できることを示すことで、ベイズ非パラメトリック理論における重要なギャップを埋める。

提案手法

• ディリクレ過程のスティック・ブレイキング表現に基づく非パラメトリック混合密度のための新しいシーブを提案する。
• スティック・ブレイキング構成を用いて、無限次元混合モデルの有限次元近似の系列を定義する。
• 精度パラメータ σ⁻ᵈ にガンマ分布の事前分布を、ベース測度 F に DP(α) を用いることで、完全なベイズ非パラメトリックな柔軟性を確保する。
• シーブを用いて測度のエントロピーと事前確率質量を制御し、後方分布濃縮速度の導出を可能にする。
• テイラー展開と積分剰余項のバウンドを用いて、真の密度の周囲における混合密度の局所的挙動を分析する。
• コーシー・シュワルツとヘルダーの不等式を用いて、混合密度の微分の L² ノルムを制御し、正則性仮定の下で有界性を保証する。

実験結果

リサーチクエスチョン

• RQ1 多変量正規分布のディリクレ過程混合モデルは、任意次元において異なる滑らかさクラスの間で適応的後方収束速度を達成できるか？
• RQ2 提案されたシーブ構成は、ベイズ非パラメトリック密度推定における次元スケーラビリティと滑らかさの適応性を保証するか？
• RQ3 真の密度が無限に微分可能な関数族またはコンパクトに台を持つ2回微分可能な関数族に属する場合、DP混合モデルの正確な後方収束速度は何か？
• RQ4 ハイパーパrameterの調整や真の滑らかさクラスの知識なしに、最小最大最適な速度を達成できるか？
• RQ5 スティック・ブレイキング表現は、高次元における収束速度分析を技術的に扱いやすいものにするシーブをどのように可能にするか？

主な発見

• 提案されたシーブ構成により、ディリクレ過程混合の多変量正規分布の次元スケーラビリティと滑らかさの適応性が達成された。
• 無限に滑らかな密度およびコンパクトに台を持つ2回微分可能な密度の両方において、後方収束速度は最小最大最適（対数要因を除く）である。
• 真の滑らかさクラスの知識や調整パrameterなしに、これらの2つの滑らかさ極端の間で適応性が達成された。
• シーブ構成は、すべてのホルダー滑らかさクラスに対して有効であることが示されたが、本研究では中間クラスの正確な速度は導出されていない。
• 本手法は、DP混合正規分布を超える広範なスティック・ブレイキング混合モデルのクラスに一般化可能な技術的フレームワークを提供する。
• 理論的分析により、ベース測度および真の密度の弱い正則性仮定の下で、事前分布の厚さとエントロピー条件が満たされることを確認した。