[논문 리뷰] Maximally Correlated Principal Component Analysis

Soheil Feizi, David Tse|arXiv (Cornell University)|2017. 02. 17.

Blind Source Separation Techniques참고 문헌 26인용 수 8

한 줄 요약

이 논문은 최대 상관성 주성분 분석(MCPCA)을 제안하며, 이는 주성분 분석(PCA)을 비선형 변환을 최적화하여 결과 공분산 행렬의 Ky Fan 노름을 최대화함으로써 일반화한 비선형 차원 축소 방법이다. MCPCA는 합성 및 실질 데이터셋 모두에서 PCA 및 최신 기법들을 능가하며, 비선형성과 범주형 의존성을 특히 잘 포착한다.

ABSTRACT

In the era of big data, reducing data dimensionality is critical in many areas of science. Widely used Principal Component Analysis (PCA) addresses this problem by computing a low dimensional data embedding that maximally explain variance of the data. However, PCA has two major weaknesses. Firstly, it only considers linear correlations among variables (features), and secondly it is not suitable for categorical data. We resolve these issues by proposing Maximally Correlated Principal Component Analysis (MCPCA). MCPCA computes transformations of variables whose covariance matrix has the largest Ky Fan norm. Variable transformations are unknown, can be nonlinear and are computed in an optimization. MCPCA can also be viewed as a multivariate extension of Maximal Correlation. For jointly Gaussian variables we show that the covariance matrix corresponding to the identity (or the negative of the identity) transformations majorizes covariance matrices of non-identity functions. Using this result we characterize global MCPCA optimizers for nonlinear functions of jointly Gaussian variables for every rank constraint. For categorical variables we characterize global MCPCA optimizers for the rank one constraint based on the leading eigenvector of a matrix computed using pairwise joint distributions. For a general rank constraint we propose a block coordinate descend algorithm and show its convergence to stationary points of the MCPCA optimization. We compare MCPCA with PCA and other state-of-the-art dimensionality reduction methods including Isomap, LLE, multilayer autoencoders (neural networks), kernel PCA, probabilistic PCA and diffusion maps on several synthetic and real datasets. We show that MCPCA consistently provides improved performance compared to other methods.

연구 동기 및 목표

• 비선형 상관관계를 포착하고 범주형 변수를 다루는 데에 있어 PCA의 한계를 해결하기 위해.
• 차원 축소에 적합한 다변량 최대 상관성의 확장형을 개발하기 위해.
• 공분산과 범주형 변수를 동시에 갖는 경우 MCPCA 최적화의 전역 최적해를 특성화하기 위해.
• 일반적인 범주형 데이터에 대해 랭크 제약 조건을 갖는 블록 좌표 강하 알고리즘을 제안하고 수렴 보장을 제공하기 위해.
• 다양한 데이터셋에서 MCPCA가 PCA 및 다른 최신 기법들보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• MCPCA는 특징 $\phi_i(X_i)$ 의 비선형 변환을 최적화하여 변환된 공분산 행렬 $\mathbf{K}_{\phi(X)}$ 의 상위 $q$ 고유값의 합(즉, Ky Fan 노름)을 최대화한다.
• 각 변환된 변수에 대해 평균이 0이고 분산이 1이 되도록 제약 조건이 설정된다: $\mathbb{E}[\phi_i(X_i)] = 0$, $\mathbb{E}[\phi_i(X_i)^2] = 1$.
• 공분산과 범주형 변수를 동시에 갖는 경우, 랭크 제약 조건 하에서 전역 최적해는 항등 또는 음의 항등 변환으로 특성화된다.
• 랭크 1 조건 하에서의 범주형 변수에 대해, 전역 최적해는 쌍별 결합 분포로부터 구성된 행렬의 주성분 벡터에서 유도된다.
• 일반적인 랭크 제약 조건에 대해 블록 좌표 강하 알고리즘을 제안하였으며, 이 알고리즘이 정류점으로 수렴하는 것을 증명하였다.
• 이 방법은 이중 교차 검증을 통해 적용되었으며, 학습된 변환은 테스트 데이터에 적용되었고, PCA, Isomap, LLE, 커널 PCA, 오토인코더, 확산 맵과 비교되었다.

실험 결과

연구 질문

• RQ1 다변량 최대 상관성의 확장이 데이터의 비선형성과 범주형 의존성을 포착하는 데 있어 PCA를 능가할 수 있는가?
• RQ2 공분산과 범주형 변수를 동시에 갖는 경우 MCPCA 최적화의 전역 최적해는 무엇인가?
• RQ3 실제 및 합성 데이터셋에서 MCPCA는 최신 기술의 차원 축소 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 MCPCA는 검증 데이터에서 성능을 유지하거나 향상시키는가? 이는 과적합에 대한 강건성을 시사하는가?
• RQ5 MCPCA가 추출한 상위 메타특징은 잠재적 형질 변수를 얼마나 잘 예측하는가?

주요 결과

• 모든 $q$ 값에서 유방암 및 성인 수입 데이터셋에서 MCPCA는 분산을 설명하는 데 있어 PCA를 뚜렷이 능가하며, 다른 데이터셋에서는 유사한 성능를 보였다.
• 형질 예측 상관관계 측면에서, MCPCA는 이중형 형질이 있는 다섯 개의 데이터셋에서 커널 PCA 및 오토인코더를 포함한 모든 다른 방법보다 높은 상관관계를 지속적으로 달성하였다.
• 연속형 및 범주형 데이터 모두에서 강건한 성능를 보였으며, 실험에서 실패 사례가 없었고, LLE는 실패한 반면에 말이다.
• 공분산 변수에 대해, MCPCA의 전역 최적해는 랭크 제약 조건 하에서 항등 또는 음의 항등 변환임을 입증하였다.
• 범주형 데이터에 대한 블록 좌표 강하 알고리즘이 MCPCA 최적화의 정류점으로 수렴함을 입증하였다.
• MCPCA는 검증 데이터셋에서 향상된 성능를 보이며, 효과적인 일반화 및 의미 있는 비선형 상관관계 포착을 시사한다.