[논문 리뷰] Rotation Invariant Householder Parameterization for Bayesian PCA

Rajbir-Singh Nirwan, Nils Bertschinger|arXiv (Cornell University)|2019. 05. 12.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 베이지안 확률적 주성분 분석(PPCA)의 사후 분포에서 회전 대칭성을 제거하기 위해 하우스홀더 변환을 사용한 회전 불변 파arameterization을 제안한다. 랜덤 행렬 이론을 활용하여, 자코비안 보정이 필요 없이 원래 모델의 분포를 유지하는 신규 파rameter에 대한 사전분포를 유도함으로써, 스탠(Stan)에서 효율적이고 해석 가능한 추론이 가능해지며, 요인 하중의 의미 있는 사후 요약 통계를 제공한다.

ABSTRACT

We consider probabilistic PCA and related factor models from a Bayesian perspective. These models are in general not identifiable as the likelihood has a rotational symmetry. This gives rise to complicated posterior distributions with continuous subspaces of equal density and thus hinders efficiency of inference as well as interpretation of obtained parameters. In particular, posterior averages over factor loadings become meaningless and only model predictions are unambiguous. Here, we propose a parameterization based on Householder transformations, which remove the rotational symmetry of the posterior. Furthermore, by relying on results from random matrix theory, we establish the parameter distribution which leaves the model unchanged compared to the original rotationally symmetric formulation. In particular, we avoid the need to compute the Jacobian determinant of the parameter transformation. This allows us to efficiently implement probabilistic PCA in a rotation invariant fashion in any state of the art toolbox. Here, we implemented our model in the probabilistic programming language Stan and illustrate it on several examples.

연구 동기 및 목표

• 이용 가능한 가능도와 사후 분포에서 발생하는 주성분 분석의 비정규성 문제를 해결하기 위해.
• MCMC 샘플링 효율성과 파rameter 해석을 방해하는 동일한 사후 밀도를 가진 연속적인 하위공간을 제거하기 위해.
• 원래 모델의 분포를 유지하면서 주성분을 유일하게 식별할 수 있도록 재파arameterization을 제공하기 위해.
• 일반적인 추론 도구 박스인 스탠(Stan)과 호환되는 계산적으로 효율적인 방법을 개발하기 위해.
• 비선형 모델인 가우시안 프로세스 잠재변수모형(GP-LVM)으로 이 방법을 확장하기 위해.

제안 방법

• 스티펠 맨포ลด라 위의 정규직교행렬로의 사상이 가능한 비제약 파arameter를 사용해 요인 하중 행렬을 파arameterization하기 위해 하우스홀더 변환을 활용한다.
• 하중 행렬을 정규직교 성분과 특이값으로 분해하기 위해 특이값 분해(SVD)를 적용한다.
• 랜덤 행렬 이론의 결과를 활용하여 하우스홀더 파arameter에 대한 유도된 사전분포를 유도함으로써 원래 하중 행렬에 대한 가우시안 사전분포와 일치시킨다.
• 랜덤 행렬 이론의 알려진 분포 성질에 의존하여 자코비안 행렬식을 계산하지 않고도 이를 수행한다.
• 새로운 파arameterization을 사용하여 스탠(Stan)에 모델을 구현함으로써 효율적인 하미르톤 몬테카를로 샘플링을 가능하게 한다.
• 합성 데이터와 웨스턴드 브래스트 캐서 피어스 데이터셋에서 방법을 검증하였으며, 기존의 PPCA 및 GP-LVM와 비교하였다.

실험 결과

연구 질문

• RQ1 베이지안 PPCA의 사후 분포에서 회전 대칭성을 모델의 결합 분포를 변경하지 않고 어떻게 제거할 수 있는가?
• RQ2 하우스홀더 변환에 기반한 파arameterization은 원래 사전분포 분포를 유지하면서 주성분을 고유하게 식별할 수 있는가?
• RQ3 자코비안 행렬식을 명시적으로 계산하지 않고도 하우스홀더 파arameter에 대한 유도된 사전분포를 유도할 수 있는가?
• RQ4 제안된 방법은 PPCA 및 GP-LVM에서 사후 분포 요약의 샘플링 효율성과 해석 가능성에 어떻게 기여하는가?
• RQ5 이 방법은 회전 대칭 가능도를 가진 비선형 잠재변수 모델로 확장될 수 있는가?

주요 결과

• 하우스홀더 기반 파arameterization은 사후 분포에서 회전 대칭성을 성공적으로 제거하여 요인 하중에 대해 고유하고 해석 가능한 사후 샘플을 제공한다.
• 랜덤 행렬 이론을 통해 유도된 하우스홀더 파arameter에 대한 사전분포는 원래 하중 행렬에 대한 가우시안 사전분포와 정확히 일치하며, 자코비안 보정이 필요 없다.
• 합성 데이터 및 실제 데이터에서 샘플링 효율성이 크게 향상되었으며, 대칭 하위공간을 탐색하는 대신 유일한 최적값으로 수렴하는 체인을 관찰하였다.
• 웨스턴드 브래스트 캐서 피어스 데이터셋에서, 이 방법은 고전적 PCA와 일치하는 사후 추정치를 도출하였으며, 요인 하중의 불확실성을 정량화하였다.
• 이 방법은 GP-LVM로도 성공적으로 확장되었으며, 잠재공간에서의 회전 대칭성을 제거하고 의미 있는 사후 추론을 가능하게 하였다.
• 스탄(Stan)에 대한 구현은 기존 샘플링 알고리즘에 대한 변경 없이 이루어졌으며, 표준 확률 프로그래밍 도구와의 호환성을 입증하였다.