[論文レビュー] Bayesian nonparametric inference on the Stiefel manifold

Lizhen Lin, Vinayak Rao+1 more|arXiv (Cornell University)|Nov 4, 2013

Bayesian Methods and Mixture Models参考文献 16被引用数 6

ひとこと要約

本稿は、核混合の行列ランジュアン分布を用いた、スタイフェル多様体上の確率分布のためのベイジアン非パラメトリックモデルを提案する。弱い正則性条件のもとで後方分布の一致性を確立し、パラメトリックモデルの誤指定を回避する柔軟で生成的推論を可能にする。

ABSTRACT

The Stiefel manifold $V_{p,d}$ is the space of all $d imes p$ orthonormal matrices, with the $d-1$ hypersphere and the space of all orthogonal matrices constituting special cases. In modeling data lying on the Stiefel manifold, parametric distributions such as the matrix Langevin distribution are often used; however, model misspecification is a concern and it is desirable to have nonparametric alternatives. Current nonparametric methods are Fréchet mean based. We take a fully generative nonparametric approach, which relies on mixing parametric kernels such as the matrix Langevin. The proposed kernel mixtures can approximate a large class of distributions on the Stiefel manifold, and we develop theory showing posterior consistency. While there exists work developing general posterior consistency results, extending these results to this particular manifold requires substantial new theory. Posterior inference is illustrated on a real-world dataset of near-Earth objects.

研究の動機と目的

• 複雑な正規直交行列データをモデル化する際、行列ランジュアン分布のようなパラメトリックモデルが誤指定されやすいという限界に対処する。
• スタイフェル多様体上での既存のフレシェ平均に基づく非パラメトリック手法に対して、完全に生成的な非パラメトリック代替手法を開発する。
• 提案モデルの広いサポートと後方分布の一貫性を保証し、データの複雑さに適応した推論を可能にする。
• Raoら（2014）のMCMCサンプラーを新モデルに適応させることで、実用的な後方分布計算を可能にする。
• スタイフェル多様体上での後方分布の一貫性の理論的裏付けを提供する。これは多様体の幾何構造のため、既存の結果の非自明な拡張である。

提案手法

• 濃度および方向行列のパrameter空間上の基本測度の上に、行列ランジュアンカーネルを混合することで非パラメトリック事前分布を構築する。
• カーネルとして行列ランジュアン分布を用い、密度は $\text{etr}(F^T X)/Z(F)$ に比例する。ここで $F$ はパrameterの $d \times p$ 行列である。
• カーネルのパrameter化に特異値分解 $F = G\boldsymbol{\kappa}H^T$ を用い、方向（$G, H$）と濃度（$\boldsymbol{\kappa}$）の成分を分離する。
• $\boldsymbol{\kappa} \in \mathbb{R}^p_+$ における濃度パラメータおよび $G \in V_{p,d}$ における方向パラメータの上に事前分布を定義し、多峰性や非対称な分布の柔軟なモデリングを可能にする。
• BhattacharyaとDunson（2012）の条件(a)〜(d)を満たすことで、後方分布の一貫性を確立する。これには、$\boldsymbol{\kappa}$ の部分集合のコンパクト性と、被覆数の有界性を含む。
• Raoら（2014）のMCMCサンプリングアルゴリズムを新モデルに適応させ、混合モデル上の後方推論を可能にし、後方分布のシミュレーションと不確実性の定量化を実現する。

実験結果

リサーチクエスチョン

• RQ1 スタイフェル多様体上に、パラメトリックモデルの誤指定を回避する完全に生成的な非パラメトリックモデルを構築できるか？
• RQ2 提案された核混合モデルは、スタイフェル多様体上の広範な確率分布クラスを近似できる十分なサポートを持つだろうか？
• RQ3 弱い正則性条件のもとで、真の潜在分布に対する後方分布はスタイフェル多様体上で一貫性を示すだろうか？
• RQ4 理論的保証を維持しながら、効率的なMCMCサンプリングを用いてモデルを実用的に実装できるだろうか？
• RQ5 本モデルは、近地小惑星の軌道方向データなどの実世界の正規直交行列データに対して、どのように性能を発揮するだろうか？

主な発見

• 提案された核混合モデルは、スタイフェル多様体上で広いサポートを持つため、正規直交行列上の広範な確率分布クラスを近似可能である。
• 弱い正則性条件のもとで後方分布の一貫性が確立され、データサイズが増加するにつれて後方分布が真の分布の周囲に集中することが示された。
• 既存の結果がスタイフェル多様体のリーマン幾何構造のため直接拡張できないことから、後方分布の一貫性の証明には新しい理論的展開を要した。
• 後方分布の一貫性に必要なエントロピー条件が確認された：条件(c)は $\boldsymbol{\kappa}$ の部分集合のコンパクト性により $b_2 = p$ で成立し、条件(d)は多様体上の被覆数の有界性により $a_3 = dp$ で成立する。
• 実データセット（近地小惑星の軌道）を用いた実証的検証により、パラメトリックモデルを凌駕する複雑な方向的パターンの捉え込みが可能であることが示された。
• パrameter $\boldsymbol{\kappa}$ に関するカーネル密度の勾配が有界であるため、後方分布の一貫性証明における連続性条件(b)が満たされ、パrameter空間における安定性が保証される。