[論文レビュー] Bayesian nonparametric Principal Component Analysis

Clément Elvira, Pierre Chainais+1 more|arXiv (Cornell University)|Sep 17, 2017

Remote-Sensing Image Classification参考文献 34被引用数 5

ひとこと要約

本稿は、因子スコアにインド・バンガロール過程（IBP）事前分布と、直交基底のスタイフェル多様体上の事前分布を用いたベイズ非パラメトリック主成分分析（BNP-PCA）を提案する。この手法は、完全にベイズ的枠組みの中で潜在次元数を自動的に、データ駆動的に推定可能であり、後部分布推論とマルコフ連鎖モンテカルロ（MCMC）サンプリングを通じて主成分の数を決定する。新たに提案された推定子とコルモゴロフ＝スミルノフ検定により、次元推定の統計的有意性が向上する。

ABSTRACT

Principal component analysis (PCA) is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Only few works have proposed a probabilistic approach able to infer the number of significant components. To this purpose, this paper introduces a Bayesian nonparametric principal component analysis (BNP-PCA). The proposed model projects observations onto a random orthogonal basis which is assigned a prior distribution defined on the Stiefel manifold. The prior on factor scores involves an Indian buffet process to model the uncertainty related to the number of components. The parameters of interest as well as the nuisance parameters are finally inferred within a fully Bayesian framework via Monte Carlo sampling. A study of the (in-)consistence of the marginal maximum a posteriori estimator of the latent dimension is carried out. A new estimator of the subspace dimension is proposed. Moreover, for sake of statistical significance, a Kolmogorov-Smirnov test based on the posterior distribution of the principal components is used to refine this estimate. The behaviour of the algorithm is first studied on various synthetic examples. Finally, the proposed BNP dimension reduction approach is shown to be easily yet efficiently coupled with clustering or latent factor models within a unique framework.

研究の動機と目的

• 主成分分析（PCA）における主成分数の選択に、原理的で確率的枠組みが欠如している問題に対処すること。
• 次元数の事前指定を必要とせず、潜在次元、因子スコア、直交基底を同時に推定する完全なベイズ枠組みを構築すること。
• 後部分布と仮説検定を用いて、部分空間次元の一貫性があり統計的に有意な推定子を提供すること。
• クラスタリングや潜在因子モデルなどの下流モデルとのシームレスな統合を可能とすること。

提案手法

• 主成分の直交基底をモデル化するために、スタイフェル多様体上への非パラメトリック事前分布を採用する。
• 活性成分数の不確実性をモデル化するため、因子スコアにインド・バンガロール過程（IBP）を事前分布として用いる。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いた完全なベイズ推論スキームを実装し、パラメータと潜在次元を同時に推定する。
• スケールパラメータの周辺後部分布を導出するが、この分布にはゾーン多項式と行列の超幾何関数が関与する。
• 後部の一貫性と統計的有意性に基づいた、部分空間次元の新しい推定子を提案する。
• 主成分の後部分布に対してコルモゴロフ＝スミルノフ検定を適用し、次元推定を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 事前指定のない状態で、ベイズ非パラメトリックアプローチが真の主成分数を一貫して推定できるか？
• RQ2 提案モデル下で、潜在次元の周辺最尤推定子（MAP）は漸近的にどのように振る舞うか？
• RQ3 統計的信頼性を伴って、提案手法がヒューリスティック的または頻度主義的手法を上回るか？
• RQ4 インド・バンガロール過程のような非パラメトリック事前分布を用いることで、主成分数の不確実性を自然にモデル化できるか？
• RQ5 BNP-PCAは、クラスタリングや潜在因子モデルのような階層モデルへどの程度統合可能か？

主な発見

• 潜在次元の周辺最尤推定子（MAP）は、標本サイズが増加するにつれて真の次元を過剰に推定する傾向があるため、一貫性に欠ける。
• 提案された部分空間次元推定子は一貫性があり、標準的なMAP推定子を改善することが示された。
• 主成分の後部分布にコルモゴロフ＝スミルノフ検定を適用することで、有効かつ精緻な次元選択手法が得られた。
• スケールパラメータの後部分布には、PCA固有値と成分の大きさの不一致を測る指標としての役割を果たす行列の超幾何関数が関与する。
• クラスタリングや潜在因子モデルとの統合が、統一されたベイズ枠組み内で成功裏に実現され、柔軟性とスケーラビリティが示された。
• 理論的分析により、Nが増加するにつれてK=1とK=0の周辺尤度比がほとんど確実に発散することが確認され、モデルが非自明な構造を検出可能であることが裏付けられた。