[論文レビュー] Generalized probabilistic principal component analysis of correlated data

Mengyang Gu, Weining Shen|arXiv (Cornell University)|Aug 31, 2018

Spatial and Panel Data Analysis被引用数 18

ひとこと要約

本稿では、潜在要因のガウス過程を用いて相関のある多次元出力をモデル化する、確率的PCAの新規拡張である一般化確率的主成分分析（GPPCA）を提案する。因子負荷行列の最大マージナル尤度推定量を閉形式で導出し、精度行列の構造を活用することで、GPPCAは出力変数の数に対して線形の計算量を達成し、従来のPPCAや他の手法と比較して、高次元かつ相関のあるデータ設定下で推定精度と計算効率を顕著に向上させる。

ABSTRACT

Principal component analysis (PCA) is a well-established tool in machine learning and data processing. The principal axes in PCA were shown to be equivalent to the maximum marginal likelihood estimator of the factor loading matrix in a latent factor model for the observed data, assuming that the latent factors are independently distributed as standard normal distributions. However, the independence assumption may be unrealistic for many scenarios such as modeling multiple time series, spatial processes, and functional data, where the outcomes are correlated. In this paper, we introduce the generalized probabilistic principal component analysis (GPPCA) to study the latent factor model for multiple correlated outcomes, where each factor is modeled by a Gaussian process. Our method generalizes the previous probabilistic formulation of PCA (PPCA) by providing the closed-form maximum marginal likelihood estimator of the factor loadings and other parameters. Based on the explicit expression of the precision matrix in the marginal likelihood that we derived, the number of the computational operations is linear to the number of output variables. Furthermore, we also provide the closed-form expression of the marginal likelihood when other covariates are included in the mean structure. We highlight the advantage of GPPCA in terms of the practical relevance, estimation accuracy and computational convenience. Numerical studies of simulated and real data confirm the excellent finite-sample performance of the proposed approach.

研究の動機と目的

• 従来の確率的PCA（PPCA）が独立な潜在要因を仮定しているという制限を克服し、時系列、空間プロセス、関数データなどの相関のある多次元出力をモデル化すること。
• 各潜在要因をガウス過程としてモデル化する一般化確率的PCA（GPPCA）フレームワークを構築し、入力間で柔軟な相関構造を表現可能にする。
• 因子プロセスの共通または異なる共分散関数の下で、因子負荷行列の閉形式の最大マージナル尤度推定量を導出すること。
• 共分散行列の逆行列が明示的な形をとることを示し、出力変数の数に対して線形の計算複雑性にまで削減することで、計算効率を確保すること。
• シミュレーションおよび実データの気温データ解析を通じて、本手法の実用的妥当性、推定精度、およびスケーラビリティを示すこと。

提案手法

• GPPCAは、因子負荷行列の各列をガウス過程の実現とみなすことでPPCAを拡張し、入力間での潜在要因の相関を可能にする。
• 同定可能性のための正規直交因子負荷ベクトルの仮定のもと、因子プロセスの共分散関数が共有されている場合の因子負荷の最大マージナル尤度推定量の閉形式解を導出する。
• 共分散関数が異なる場合には、推定問題がスタイリルマン上での最適化問題に還元され、WenとYin（2013）の高速数値アルゴリズムを用いて解く。
• マージナル尤度が閉形式で得られ、出力分布の精度行列が明示的な構造を持つため、線形時間計算が可能になる。
• 平均構造に共変量を組み込み、その場合のマージナル尤度に対しても閉形式の表現が得られる。
• 導出した後方分布を用いて予測分布を計算し、不確実性の定量化を伴った効率的な予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 潜在要因をガウス過程としてモデル化することで、相関のある多次元出力を扱えるように確率的PCAフレームワークを一般化できるか？
• RQ2 GPPCAにおける閉形式の最大マージナル尤度推定量は、標準的PPCAや他の手法と比較して推定精度を維持しながら計算複雑性を低減できるか？
• RQ3 真の因子プロセスが相関を持つ有限標本設定下で、特に高次元設定においてGPPCAはどのように性能を発揮するか？
• RQ4 潜在因子プロセスの共分散関数が共通か別個かという違いが、推定および予測性能に与える影響は何か？
• RQ5 実世界の時空間データにおいて、GPPCAはGaSP、ランダムフォレスト、行列正規分布モデルなどの代替手法と比較して、予測精度と計算スケーラビリティの面で優れているか？

主な発見

• GPPCAは、精度行列の明示的形のため、出力変数の数に対して線形の計算複雑性O(n)を達成し、大規模データでの効率的計算を可能にする。
• 数値的実験では、GPPCAの平均二乗誤差（AvgMSE）が、Ind GP や PP GP と比較して標本サイズの増加に伴いより速く減少することが示され、望ましい有限標本収束性を示している。
• グリッド型気温データ解析において、GPPCAはPPCA、GaSP、ランダムフォレスト、行列正規分布モデルを上回る予測精度を示し、特に時空間相関をモデル化する際に顕著である。
• 本手法は、気温異常データにおける時間的トレンドと空間相関を効果的に捉えており、パラメータ推定には439×240のサブセットが使用され、予測には全369,360×1のデータセットが活用されている。
• 閉形式のマージナル尤度とスタイリルマン上での効率的最適化のおかげで、GPPCAはフル共分散行列の逆行列計算が困難な高次元出力に対しても計算可能である。
• 共変量を平均構造に組み込むことができ、閉形式のマージナル尤度のおかげで、計算効率を損なわずにモデルの柔軟性が向上する。