[논문 리뷰] XPCA: Extending PCA for a Combination of Discrete and Continuous Variables

Clifford Anderson-Bergman, Tamara G. Kolda외 1명|arXiv (Cornell University)|2018. 08. 22.

Statistical Methods and Inference참고 문헌 1인용 수 8

한 줄 요약

이 논문은 주성분 분석(PCA)의 새로운 확장인 XPCA를 제안한다. XPCA는 연속형, 이산형, 순서형 데이터 유형을 혼합하여 다루기 위해 가우시안 코풀라와 비모수적 누적분포함수를 조합한다. 기존의 PCA나 COCA와 달리, XPCA는 이산 변수의 가능성 함수 내에서 간격의 경계를 통합하여 원천적으로 차원 감소와 누락 데이터 보정을 가능하게 하며, 데이터의 범위 제약 조건을 유지한다. 주요 기여는 통계적으로 탄탄한 가능도 기반 방법으로, 이산형 또는 반연속형 변수를 포함한 이질적인 데이터셋에서 PCA 및 COCA보다 뛰어난 성능을 보인다.

ABSTRACT

Principal component analysis (PCA) is arguably the most popular tool in multivariate exploratory data analysis. In this paper, we consider the question of how to handle heterogeneous variables that include continuous, binary, and ordinal. In the probabilistic interpretation of low-rank PCA, the data has a normal multivariate distribution and, therefore, normal marginal distributions for each column. If some marginals are continuous but not normal, the semiparametric copula-based principal component analysis (COCA) method is an alternative to PCA that combines a Gaussian copula with nonparametric marginals. If some marginals are discrete or semi-continuous, we propose a new extended PCA (XPCA) method that also uses a Gaussian copula and nonparametric marginals and accounts for discrete variables in the likelihood calculation by integrating over appropriate intervals. Like PCA, the factors produced by XPCA can be used to find latent structure in data, build predictive models, and perform dimensionality reduction. We present the new model, its induced likelihood function, and a fitting algorithm which can be applied in the presence of missing data. We demonstrate how to use XPCA to produce an estimated full conditional distribution for each data point, and use this to produce to provide estimates for missing data that are automatically range respecting. We compare the methods as applied to simulated and real-world data sets that have a mixture of discrete and continuous variables.

연구 동기 및 목표

• 다변량 데이터 분석에서 정규분포가 아니거나 이산형, 순서형 변수를 다룰 수 없는 PCA의 한계를 해결하기 위해.
• 비모수적 누적분포함수를 가정하지 않고도 이질적인 데이터 유형을 수용할 수 있도록 확률적 PCA 프레임워크를 확장하기 위해.
• 이산 변수에 대해 간격을 통합하는 가능도 기반 방법을 개발하여 모델 적합도와 보정 정확도를 향상시키기 위해.
• 혼합형 데이터셋에서 누락된 데이터에 대해 범위를 고려한 추정치를 포함하는 행렬 완성 기능을 제공하기 위해.

제안 방법

• XPCA는 변수 간의 의존성 구조를 모델링하기 위해 가우시안 코풀라를 사용하며, 이는 누적분포함수와 의존성 구조를 분리한다.
• 비모수적 누적분포함수는 경험적 누적분포함수를 사용하여 연속형 또는 이산형 누적분포에 대해 유연성을 확보한다.
• 이산 변수의 경우, 각 이산 값에 해당하는 간격의 경계를 통합하여 가능도를 계산하며, 점 질량을 사용하지 않는다.
• 이 방법은 표준 정규분포의 누적분포함수(CDF)를 통해 간격 확률을 고려한 음의 로그 가능도(NLL) 손실 함수를 사용한다.
• 주로화-최소화 알고리즘을 사용하여 NLL를 최적화하며, U 및 V 행렬의 반복적 갱신을 통해 수렴성과 누락 데이터 처리를 가능하게 한다.
• 보정은 각 데이터 포인트에 대해 적합된 모델을 기반으로 전체 조건부 분포를 추정하여 수행되며, 유효 범위를 초월한 예측을 방지한다.

실험 결과

연구 질문

• RQ1 가능도 기반 PCA 프레임워크를 이산형 및 연속형 변수를 동시에 다룰 수 있도록 확장할 수 있는가, 이때 통계적 엄밀성이 유지되는가?
• RQ2 이질적인 데이터셋에서 XPCA는 PCA 및 COCA에 비해 차원 감소 및 보정 정확도 측면에서 어떻게 비교되는가?
• RQ3 이산 변수에 대해 간격 기반 가능도 통합이 점 질량 근사보다 모델 적합도 및 예측 성능을 향상시키는가?
• RQ4 특히 이산형 또는 제로 포화 변수를 포함한 경우, XPCA는 기존 방법보다 행렬 완성에서 얼마나 더 뛰어난 성능을 보이는가?
• RQ5 COCA에서 중앙값 순위화 사용이 이산형 데이터 처리 성능을 향상시키는가, 그리고 XPCA의 간격 통합과 비교해 볼 때 어떤가?

주요 결과

• XPCA는 이산형 또는 반연속형 변수를 포함한 데이터셋에서 PCA 및 COCA를 크게 능가하며, 특히 보정 정확도와 모델 적합도 측면에서 뛰어난 성능을 보였다.
• 제로 포화 및 이산형 데이터를 시뮬레이션한 결과, 중복값 처리에 중앙값 순위화를 사용한 COCA에 비해 XPCA는 평균 제곱오차(MSE)가 유의미하게 낮았다.
• COCA에서 중앙값 순위화를 사용함으로써 MSE가 최대 순위화 대비 38% 감소하여, 이산형 데이터의 중복값 처리에서 중요성을 입증했다.
• XPCA는 각 데이터 포인트에 대해 전체 조건부 분포를 추정함으로써 범위를 고려한 보정을 가능하게 하여, 값이 유효 범위 외로 벗어나지 않도록 한다.
• 제안된 피팅 알고리즘은 신뢰성 있게 수렴하며, 다양한 변수 유형을 포함한 누락 데이터가 있는 행렬 완성도 지원하여 통계적 일관성을 유지한다.
• 실제 NBA 및 미국 senat의 투표 데이터에 대한 실증 결과는 XPCA가 이질적 데이터에서 잠재적 구조를 파악하고 예측 모델링을 지원하는 데 성공했음을 확인했다.