[논문 리뷰] General Bayesian Inference over the Stiefel Manifold via the Givens Transform

Arya Pourzanjani, Richard Jiang외 2명|arXiv (Cornell University)|2017. 10. 25.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 Stiefel 다양체에서 유클리드 공간으로의 사상이 가능하게 하는 Givens 표현을 사용하여 직교 행렬 매개변수에 대한 일반적인 베이지안 추론 프레임워크를 제안한다. 이는 밀도 변환과 사후 분포 계산을 효율적으로 가능하게 한다. 위상적 복잡성을 다루기 위해 보조 매개변수 방법을 도입하였으며, 요인 모형과 PPCA에서 실용적인 수치 예제를 통해 뛰어난 성능을 입증하였다.

ABSTRACT

We introduce here an approach based on the Givens representation for posterior inference in statistical models with orthogonal matrix parameters, such as factor models and probabilistic principal component analysis (PPCA). We show how the Givens representation can be used to develop practical methods for transforming densities over the Stiefel manifold into densities over subsets of Euclidean space. We demonstrate how to deal with issues arising from the topology of the Stiefel manifold and how to inexpensively compute the change-of-measure terms. We introduce an auxiliary parameter approach that limits the impact of topological issues. We provide both analysis of our methods and numerical examples demonstrating the effectiveness of the approach. We also discuss how our Givens representation can be used to define general classes of distributions over the space of orthogonal matrices. We then give demonstrations on several examples showing how the Givens approach performs in practice in comparison with other methods.

연구 동기 및 목표

• 요인 모형과 확률적 PCA와 같은 직교 행렬 매개변수를 가진 모델에 대한 일반적인 베이지안 추론 프레임워크를 개발하는 것.
• 사후 분포 계산 과정에서 발생하는 Stiefel 다양체의 위상적 특성에 기인한 과제를 해결하는 것.
• Givens 표현을 통해 Stiefel 다양체에서 유클리드 공간으로의 밀도 변환을 효율적으로 수행하는 것.
• 위상 특이점의 영향을 최소화하기 위해 보조 매개변수 방법을 도입하는 것.
• Givens 각도에 대한 사전분포를 설정하여 직교 행렬 위에 정의된 일반적인 분포의 클래스를 제공하는 것.

제안 방법

• 직교 행렬을 Givens 회전의 곱으로 분해하여 유클리드 공간의 부분집합으로 매핑하기 위해 Givens 표현을 활용한다.
• 변환의 자코비안 행렬식을 사용하여 Stiefel 다양체의 확률밀도를 Givens 각도의 매개변수 공간으로 변환한다.
• Stiefel 다양체의 비자명한 위상적 성질로 인해 발생하는 문제를 피하기 위해 보조 매개변수화를 통합한다.
• Givens 분해에서 유도된 해석적 표현을 사용하여 측도 변화 항을 효율적으로 계산한다.
• Givens 각도에 대한 사전분포를 설정하여 직교 행렬 위의 일반적인 분포 클래스를 정의한다.
• 표준 베이지안 계산 기법을 사용하여 요인 모형과 확률적 PCA에서 사후 추론에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 Givens 표현을 어떻게 활용하여 Stiefel 다양체에서 효율적인 베이지안 추론을 수행할 수 있는가?
• RQ2 Stiefel 다양체 위의 밀도 변환 과정에서 발생하는 계산적 및 위상적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 Givens 매개변수화에서의 측도 변화 항은 다른 접근 방식과 비교해 복잡성과 정확도 측면에서 어떻게 다를 수 있는가?
• RQ4 보조 매개변수 방법은 사후 샘플링에서 위상 특이점의 영향을 효과적으로 줄일 수 있는가?
• RQ5 Givens 표현을 사용하여 어떤 종류의 직교 행렬 위의 분포를 구성할 수 있는가?

주요 결과

• Givens 표현은 분석적으로 다룰 수 있는 측도 변화 항을 통해 Stiefel 다양체에서 유클리드 공간으로의 확률밀도 변환을 정확하고 효율적으로 가능하게 한다.
• 보조 매개변수 방법은 Stiefel 다양체에서 사후 샘플링 과정에서 발생하는 위상 문제를 성공적으로 완화한다.
• 이 방법은 Givens 각도에 대한 사전분포를 설정함으로써 직교 행렬 위에 일반적이고 민감도가 높은 분포의 가족을 구성할 수 있도록 한다.
• 수치 예제를 통해 제안된 방법이 요인 모형과 PPCA에서 계산 효율성과 수렴 속도 측면에서 기존 방법보다 뛰어나다는 것이 입증되었다.
• 이 프레임워크는 최소한의 계산 오버헤드로 고차원 직교 행렬 모델에서 실용적인 베이지안 추론을 지원한다.