[論文レビュー] XPCA: Extending PCA for a Combination of Discrete and Continuous Variables

Clifford Anderson-Bergman, Tamara G. Kolda+1 more|arXiv (Cornell University)|Aug 22, 2018

Statistical Methods and Inference参考文献 1被引用数 8

ひとこと要約

本稿では、ガウス・コプゥラとノンパラメトリックな周辺分布を組み合わせることで、連続的、離散的、順序的データ型を統合的に扱える主成分分析（PCA）の新規拡張であるXPCAを提案する。従来のPCAやCOCAとは異なり、XPCAは離散変数の尤度関数において区間の境界を統合することで、原理的かつ整合的な次元削減と補完を可能にし、データの範囲制約を保つ。主な貢献は、統計的に根拠のある尤度ベースの手法であり、離散的または準連続的変数を含む異種データセットにおいて、PCA や COCA を上回る性能を発揮することにある。

ABSTRACT

Principal component analysis (PCA) is arguably the most popular tool in multivariate exploratory data analysis. In this paper, we consider the question of how to handle heterogeneous variables that include continuous, binary, and ordinal. In the probabilistic interpretation of low-rank PCA, the data has a normal multivariate distribution and, therefore, normal marginal distributions for each column. If some marginals are continuous but not normal, the semiparametric copula-based principal component analysis (COCA) method is an alternative to PCA that combines a Gaussian copula with nonparametric marginals. If some marginals are discrete or semi-continuous, we propose a new extended PCA (XPCA) method that also uses a Gaussian copula and nonparametric marginals and accounts for discrete variables in the likelihood calculation by integrating over appropriate intervals. Like PCA, the factors produced by XPCA can be used to find latent structure in data, build predictive models, and perform dimensionality reduction. We present the new model, its induced likelihood function, and a fitting algorithm which can be applied in the presence of missing data. We demonstrate how to use XPCA to produce an estimated full conditional distribution for each data point, and use this to produce to provide estimates for missing data that are automatically range respecting. We compare the methods as applied to simulated and real-world data sets that have a mixture of discrete and continuous variables.

研究の動機と目的

• 多変量解析において正規分布でない、離散的または順序的変数を扱えないPCAの限界を解消すること。
• パラメトリックな周辺分布を仮定せずに、異種のデータタイプを扱えるように、確率的PCAフレームワークを拡張すること。
• 離散変数に対して区間を統合する尤度ベースの手法を開発し、モデルの適合度と補完精度を向上させること。
• 混合タイプのデータセットにおける欠損値の補完を、範囲を尊重する推定値で実現すること。

提案手法

• XPCAは、変数間の依存構造をモデル化するためにガウス・コプゥラを用い、周辺分布と依存構造を分離する。
• ノンパラメトリックな周辺分布は、経験的分布関数を用いて推定され、任意の連続的または離散的周辺分布に柔軟に対応できる。
• 離散変数の場合、尤度は各離散値に対応する区間の境界を統合して計算され、点質量ではなく区間確率に基づく。
• 負の対数尤度（NLL）損失関数は、標準正規分布の累積分布関数（CDF）を用いて区間確率を扱う。
• 主要化最小化アルゴリズムを用いてNLLを最適化し、UおよびV行列の反復的更新により欠損データの処理と収束を実現する。
• 補完は、適合したモデルを用いて各データポイントごとに完全な条件付き分布を推定することで実施され、有効範囲外の予測を回避する。

実験結果

リサーチクエスチョン

• RQ1 尤度ベースのPCAフレームワークを、離散的および連続的変数を併せ持つデータに拡張可能か、かつ統計的厳密性を保てるか。
• RQ2 異種データセットにおいて、XPCAはPCAおよびCOCAと比較して次元削減および補完精度で優れているか。
• RQ3 離散変数に対して区間ベースの尤度統合を採用することで、点質量近似と比較してモデル適合度と予測性能が向上するか。
• RQ4 特に離散的またはゼロ過剰な変数を含むデータにおいて、XPCAは欠損値補完において既存手法をどの程度上回るか。
• RQ5 COCAにおける中央値順位付けが離散データ処理において性能を向上させるか、またXPCAの区間統合と比較してどう異なるか。

主な発見

• XPCAは、離散的または準連続的変数を含むデータセットにおいて、PCA や COCA より顕著に優れた性能を示し、特に補完精度とモデル適合度で顕著に優れている。
• ゼロ過剰や離散的データのシミュレーションにおいて、同定値を中央値順位付けで処理したCOCAと比較して、XPCAは平均二乗誤差（MSE）を著しく低くした。
• COCAにおける中央値順位付けの使用は、最大順位付けと比較してMSEを38%低減させ、離散データにおける同定値処理の重要性を示している。
• XPCAは、各データポイントごとに完全な条件付き分布を推定することで、範囲を尊重する補完を可能にし、範囲外の予測を回避する。
• 提案されたフィッティングアルゴリズムは信頼性高く収束し、欠損値を含むデータの行列補完を維持しながら、混合変数タイプにわたる統計的一致性を保つ。
• NBAおよび米国上院議員の投票データを用いた実データの実験結果から、XPCAが異種データにおける潜在的構造を解明し、予測モデリングを支援できることを確認した。