[논문 리뷰] Approximate Message Passing for orthogonally invariant ensembles: Multivariate non-linearities and spectral initialization

Xinyi Zhong, Tianhao Wang외 1명|arXiv (Cornell University)|2021. 10. 05.

Random Matrices and Applications참고 문헌 51인용 수 8

한 줄 요약

이 논문은 다변수 비선형성과 표본 고유벡터를 이용한 스펙트럼 초기화를 도입하여 정규직교 불변 랜덤 행렬 집합에 대해 근사 메시지 전파(AMP) 알고리즘을 확장한다. 자유 누적량의 스펙트럼 분포에 따라 정확한 온살러 보정 계수와 상태 진화 공식을 유도함으로써 고차원 PCA 및 안정적이고 데이터 기반의 초기화를 통한 베이지안 추론에서 개선된 추정 성능을 가능하게 한다.

ABSTRACT

We study a class of Approximate Message Passing (AMP) algorithms for symmetric and rectangular spiked random matrix models with orthogonally invariant noise. The AMP iterates have fixed dimension $K \geq 1$, a multivariate non-linearity is applied in each AMP iteration, and the algorithm is spectrally initialized with $K$ super-critical sample eigenvectors. We derive the forms of the Onsager debiasing coefficients and corresponding AMP state evolution, which depend on the free cumulants of the noise spectral distribution. This extends previous results for such models with $K=1$ and an independent initialization. Applying this approach to Bayesian principal components analysis, we introduce a Bayes-OAMP algorithm that uses as its non-linearity the posterior mean conditional on all preceding AMP iterates. We describe a practical implementation of this algorithm, where all debiasing and state evolution parameters are estimated from the observed data, and we illustrate the accuracy and stability of this approach in simulations.

연구 동기 및 목표

• 대칭 및 직사각형 스파이크 랜덤 행렬 모델에 대해 스칼라에서 행렬값의 반복 변수로 AMP 알고리즘을 일반화하고, 다변수 비선형성을 도입한다.
• 독립적이고 정보적인 초기화가 필요 없도록, 초임계수 표본 고유벡터를 사용하는 스펙트럼 초기화 방법을 개발한다.
• 소음 스펙트럼 분포의 자유 누적량에 따라 의존하는 정확한 온살러 보정 계수와 상태 진화 공식을 도출한다.
• 모든 매개변수를 데이터로부터 추정하는 베이즈-OAMP 알고리즘을 통해 실용적인 베이지안 PCA를 가능하게 한다.

제안 방법

• 행렬값의 반복 변수 $\mathbf{U}_t \in \mathbb{R}^{n \times K}$ 를 사용하는 다변수 AMP 프레임워크를 제안하며, 모든 $K$ 차원에 동시에 비선형성을 적용한다.
• 소음 스펙트럼 분포의 자유 누적량에 따라 의존하는 온살러 보정 계수를 유도하며, 이는 $K=1$ 인 경우 이전 결과를 일반화한다.
• 데이터 행렬의 $K$개 표본 고유벡터를 사용하는 스펙트럼 초기화 전략을 도입하며, 이는 $\tau \to \infty$ 일 때 선형 AMP 단계의 극한으로 간주된다.
• 와서슈타인-2 수렴 프레임워크를 적용하여 스펙트럼 초기화 하에서 AMP 반복 변수의 점근적 행동을 분석한다.
• 모든 이전 AMP 반복 변수를 조건으로 하는 사후 평균 비선형성을 사용하는 실용적인 Bayes-OAMP 알고리즘을 개발한다.
• 모든 보정 및 상태 진화 매개변수를 관측된 데이터로부터 직접 추정함으로써, 사전 지식 없이도 데이터 기반의 구현이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 정규직교 불변 집합에 대해 다변수 비선형성을 갖는 AMP에서 온살러 보정 계수와 상태 진화는 어떻게 행동하는가?
• RQ2 표본 고유벡터를 통한 스펙트럼 초기화를 사용할 경우, 정확한 온살러 보정과 상태 진화의 형태는 무엇인가?
• RQ3 스펙트럼 초기화 전략은 독립적 초기화와 비교해 AMP 반복 변수의 점근적 분포에 어떤 영향을 미치는가?
• RQ4 사후 평균 비선형성을 사용하고 고차원 PCA에서 최적의 추정 위험을 달성하는 Bayes-OAMP 알고리즘을 구성할 수 있는가?
• RQ5 소음 스펙트럼 분포의 자유 누적량은 스펙트럼 초기화 하에서 AMP 동역학에 어떤 역할을 하는가?

주요 결과

• 스펙트럼 초기화에 대한 온살러 보정 계수는 이전 연구와 다른 형태를 가지며, 소음 스펙트럼 분포의 자유 누적량에 직접적으로 의존한다.
• 스펙트럼 초기화를 적용한 AMP 알고리즘의 상태 진화 공식이 도출되었으며, 새로운 초기화 방법에 따른 반복 변수의 점근적 행동과 일관됨을 보였다.
• 제안된 Bayes-OAMP 알고리즘은 사후 평균 비선형성과 데이터 기반 매개변수 추정을 통해 베이지안 PCA에서 근사 최적의 추정 위험을 달성한다.
• 스펙트럼 초기화 방법은 독립적이고 정보적인 초기화가 필요 없게 하여, 실세계 데이터에 대한 알고리즘의 실용성을 높인다.
• 이론적 프레임워크는 낮은 질서의 구조를 추정하는 데 있어 높은 정확도와 안정성을 보이는 시뮬레이션을 통해 검증되었다.
• 모든 자유 누적량의 양성이라는 제약 조건을 회피함으로써, 이전 연구에 비해 적용 범위를 넓혔다.