[논문 리뷰] Bayesian nonparametric Principal Component Analysis

Clément Elvira, Pierre Chainais외 1명|arXiv (Cornell University)|2017. 09. 17.

Remote-Sensing Image Classification참고 문헌 34인용 수 5

한 줄 요약

이 논문은 요인 점수에 인디안 뷔페 과정 사전분포와 정규직교 기저에 스티펠 맨포일드 위의 사전분포를 사용하여, 완전한 베이지안 프레임워크에서 잠재 차원수를 추론하는 베이지안 비모수 주성분 분석(BNP-PCA)을 제안한다. 이 방법은 사후 추론과 몬테카를로 샘플링을 통해 데이터 기반으로 주성분의 수를 자동으로 결정할 수 있으며, 새로운 추정기와 콜모고로프-스미르노프 검정이 차원 추정의 통계적 유의성을 향상시킨다.

ABSTRACT

Principal component analysis (PCA) is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Only few works have proposed a probabilistic approach able to infer the number of significant components. To this purpose, this paper introduces a Bayesian nonparametric principal component analysis (BNP-PCA). The proposed model projects observations onto a random orthogonal basis which is assigned a prior distribution defined on the Stiefel manifold. The prior on factor scores involves an Indian buffet process to model the uncertainty related to the number of components. The parameters of interest as well as the nuisance parameters are finally inferred within a fully Bayesian framework via Monte Carlo sampling. A study of the (in-)consistence of the marginal maximum a posteriori estimator of the latent dimension is carried out. A new estimator of the subspace dimension is proposed. Moreover, for sake of statistical significance, a Kolmogorov-Smirnov test based on the posterior distribution of the principal components is used to refine this estimate. The behaviour of the algorithm is first studied on various synthetic examples. Finally, the proposed BNP dimension reduction approach is shown to be easily yet efficiently coupled with clustering or latent factor models within a unique framework.

연구 동기 및 목표

• 주성분 분석에서 주성분 수를 선택하기 위한 원리적인 확률적 방법의 부족을 해결하기 위해.
• 잠재 차원, 요인 점수, 정규직교 기저를 사전에 차원을 지정하지 않고 동시에 추론하는 완전한 베이지안 프레임워크를 개발하기 위해.
• 사후 분포와 가설 검정을 사용하여 부분공간 차원의 일관되고 통계적으로 유의미한 추정기 제공하기 위해.
• 클러스터링 또는 잠재 요인 모델과 같은 후행 모델과의 원활한 통합을 가능하게 하기 위해.

제안 방법

• 주성분의 정규직교 기저를 모델링하기 위해 스티펠 맨포일드 위에 비모수 사전분포를 사용한다.
• 활성 성분 수에 대한 불확실성을 모델링하기 위해 요인 점수에 인디안 뷔페 과정(IBP)을 사전분포로 사용한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하여 매개변수와 잠재 차원을 동시에 추정하는 완전한 베이지안 추론 체계를 구현한다.
• 척도 매개변수의 주변 사후분포를 도출하며, 이는 영역 다항식과 행렬의 일반화된 초함수를 포함한다.
• 사후 일관성과 통계적 유의성 검정에 기반한 부분공간 차원의 새로운 추정기를 제안한다.
• 주성분의 사후분포에 콜모고로프-스미르노프 검정을 적용하여 차원 추정을 정밀화한다.

실험 결과

연구 질문

• RQ1 사전에 차원을 지정하지 않고도, 비모수 베이지안 접근법이 참값의 주성분 수를 일관되게 추론할 수 있는가?
• RQ2 제안된 모형 하에서 잠재 차원의 주변 최대사후추정기(MAP)는 점 渐진적으로 어떻게 행동하는가?
• RQ3 제안된 방법이 히우리스틱 또는 빈도주의 접근법보다 통계적 신뢰도를 가지고 성분 수 선택에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 비모수 사전분포인 인디안 뷔페 과정을 사용하여 성분 수의 불확실성을 자연스럽게 모델링할 수 있는가?
• RQ5 BNP-PCA는 클러스터링 또는 잠재 요인 모델과 같은 계층 모델에 얼마나 잘 통합될 수 있는가?

주요 결과

• 잠재 차원의 주변 최대사후추정기(MAP)는 표본 크기가 증가함에 따라 참값을 과대추정하는 경향이 있어 일관성이 없음을 나타낸다.
• 제안된 부분공간 차원 추정기는 일관성 있고 통계적으로 유의미함이 입증되었으며, 표준 MAP 추정기보다 향상됨을 보였다.
• 주성분의 사후분포에 적용된 콜모고로프-스미르노프 검정은 차원 선택을 위한 유효하고 정밀한 방법을 제공한다.
• 척도 매개변수의 사후분포는 행렬의 일반화된 초함수를 포함하며, 이는 PCA 고유값과 성분 크기 간의 불일치를 측정하는 데 사용된다.
• 이 방법은 클러스터링 및 잠재 요인 모델과 같은 모델과 통합된 일관된 베이지안 프레임워크 내에서 성공적으로 결합되었으며, 유연성과 확장성을 입증하였다.
• 이론적 분석을 통해 N이 증가함에 따라 K=1과 K=0에 대한 주변 우도 비율이 거의 확실히 발산함을 확인하였으며, 이는 모델이 비트리비얼한 구조를 탐지할 수 있음을 뒷받침한다.