[논문 리뷰] Generalized probabilistic principal component analysis of correlated data

Mengyang Gu, Weining Shen|arXiv (Cornell University)|2018. 08. 31.

Spatial and Panel Data Analysis인용 수 18

한 줄 요약

이 논문은 잠재 요인에 대한 가우시안 프로세스를 사용하여 상관관계가 있는 다변량 출력을 모델링하는 확률적 주성분 분석(PPCA)의 새로운 확장인 일반화된 확률적 주성분 분석(GPPCA)을 제안한다. 정밀도 행렬의 구조를 활용하여 인수 하중의 최대 우도 추정기의 닫힌 형태를 유도함으로써 GPPCA는 선형 계산 복잡도를 달성하고, 기존의 PPCA 및 기타 방법에 비해 고차원, 상관관계가 있는 데이터 설정에서 추정 정확도와 계산 효율성에서 뚜렷한 향상을 이룬다.

ABSTRACT

Principal component analysis (PCA) is a well-established tool in machine learning and data processing. The principal axes in PCA were shown to be equivalent to the maximum marginal likelihood estimator of the factor loading matrix in a latent factor model for the observed data, assuming that the latent factors are independently distributed as standard normal distributions. However, the independence assumption may be unrealistic for many scenarios such as modeling multiple time series, spatial processes, and functional data, where the outcomes are correlated. In this paper, we introduce the generalized probabilistic principal component analysis (GPPCA) to study the latent factor model for multiple correlated outcomes, where each factor is modeled by a Gaussian process. Our method generalizes the previous probabilistic formulation of PCA (PPCA) by providing the closed-form maximum marginal likelihood estimator of the factor loadings and other parameters. Based on the explicit expression of the precision matrix in the marginal likelihood that we derived, the number of the computational operations is linear to the number of output variables. Furthermore, we also provide the closed-form expression of the marginal likelihood when other covariates are included in the mean structure. We highlight the advantage of GPPCA in terms of the practical relevance, estimation accuracy and computational convenience. Numerical studies of simulated and real data confirm the excellent finite-sample performance of the proposed approach.

연구 동기 및 목표

• 기존의 확률적 주성분 분석(PPCA)이 독립적인 잠재 요인을 가정한다는 점을 고려하여, 시간 시리즈, 공간 과정 및 기능 데이터와 같은 상관관계가 있는 다변량 출력을 모델링하는 데에 한계가 있음을 해결하고자 한다.
• 각 잠재 요인을 가우시안 프로세스로 모델링하는 일반화된 확률적 주성분 분석(GPPCA) 프레임워크를 개발하여, 입력 간에 민감한 상관관계 구조를 가능하게 하고자 한다.
• 요인 과정의 공유 또는 별개의 공분산 함수 하에서 요인 하중 행렬의 닫힌 형태 최대 우도 추정기의 유도를 목표로 한다.
• 요인 공분산 행렬의 역행렬이 명시적인 형태를 가지므로 계산 복잡도가 출력 변수 수에 대해 선형으로 감소함을 보여, 계산 효율성을 확보하고자 한다.
• 시뮬레이션과 실제 기상 데이터 분석을 통해 본 방법의 실용적 관련성, 추정 정확도 및 확장성을 입증하고자 한다.

제안 방법

• GPPCA는 요인 하중 행렬의 각 열을 가우시안 프로세스의 실현값으로 모델링하여, 입력 간에 잠재 요인의 상관관계를 허용한다.
• identifiability 확보를 위해 정규직교 요인 하중 벡터를 가정하고, 요인 과정의 공분산 함수가 공유될 경우 요인 하중의 최대 우도 추정기의 닫힌 형태 해를 도출한다.
• 공분산 함수가 별개일 경우, 추정은 스티펠 만만드에서의 최적화 문제로 감소하며, Wen과 Yin(2013)의 빠른 수치 알고리즘을 사용하여 해결한다.
• 우도의 닫힌 형태가 유도되며, 출력 분포의 정밀도 행렬은 선형 시간 계산을 가능하게 하는 명시적 구조를 가진다.
• 모델의 평균 구조에 공변량을 포함시키며, 이러한 경우에도 우도의 닫힌 형태 표현식을 제공한다.
• 유도된 사후 분포를 사용하여 예측 분포를 계산함으로써, 불확실성 정량화와 함께 보류된 데이터에 대한 효율적 예측이 가능하다.

실험 결과

연구 질문

• RQ1 잠재 요인을 가우시안 프로세스로 모델링함으로써, 상관관계가 있는 다변량 출력을 다룰 수 있는 확률적 주성분 분석 프레임워크를 일반화할 수 있는가?
• RQ2 GPPCA의 닫힌 형태 최대 우도 추정기는 기존의 PPCA 및 기타 방법에 비해 계산 복잡도를 감소시키면서도 추정 정확도를 유지하는가?
• RQ3 진짜 요인 과정이 상관관계가 있을 때, 특히 고차원 설정에서 유한 표본에서 GPPCA는 어떻게 성능을 발휘하는가?
• RQ4 잠재 요인 과정의 공유 또는 별개의 공분산 함수가 추정 및 예측 성능에 미치는 영향은 어떠한가?
• RQ5 실제의 시공간 데이터에서 GaSP, 랜덤 포레스트 및 행렬 정규 모델과 비교할 때, GPPCA는 예측 정확도와 계산 확장성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• GPPCA는 정밀도 행렬의 명시적 형태 덕분에 출력 변수 수에 대해 선형 계산 복잡도 O(n)을 달성하여 대규모 데이터에서 효율적인 계산이 가능하다.
• 수치적 연구 결과, GPPCA의 평균 제곱오차(AvgMSE)는 Ind GP 및 PP GP보다 표본 크기가 증가함에 따라 더 빠르게 감소함을 보여, 긍정적인 유한 표본 수렴 성질을 가짐을 시사한다.
• 격자 기반 기상 데이터 분석에서, GPPCA는 PPCA, GaSP, 랜덤 포레스트 및 행렬 정규 모델보다 예측 정확도에서 뛰어나며, 특히 시간적 및 공간적 상관관계를 모델링할 때 유의미한 성능 향상을 보였다.
• 이 방법은 기상 이상치 데이터에서 시간 추세와 공간 상관관계를 성공적으로 포착하였으며, 매개변수 추정을 위해 439×240 서브셋을 사용하고, 예측을 위해 전체 369,360×1 데이터셋을 활용하였다.
• 닫힌 형태의 우도와 스티펠 만만드에서의 효율적 최적화 덕분에, 전체 공분산 역행렬 계산이 비가역적인 경우에도 고차원 출력에 대해 GPPCA는 계산 가능하다.
• 공변량을 평균 구조에 포함시키는 것이 닫힌 형태의 우도를 통해 지원되어, 계산 효율성을 유지하면서도 모델의 유연성을 향상시켰다.