[논문 리뷰] Approximate Message Passing algorithms for rotationally invariant matrices

Fan Zhou|arXiv (Cornell University)|2020. 08. 27.

Blind Source Separation Techniques인용 수 9

한 줄 요약

이 논문은 자유 누적량을 사용하여 회전 대칭 랜덤 행렬에 적용된 근사 메시지 전파(AMP) 알고리즘의 온세거 보정 및 상태 진화를 엄밀하게 유도한다. 대규모 신호 강도와 비정규 사전 분포 조건에서 제안된 베이즈-AMP 알고리즘이 구조적 PCA에서 표본 주성분보다 더 높은 추정 정확도를 달성함을 입증한다.

ABSTRACT

Approximate Message Passing (AMP) algorithms have seen widespread use across a variety of applications. However, the precise forms for their Onsager corrections and state evolutions depend on properties of the underlying random matrix ensemble, limiting the extent to which AMP algorithms derived for white noise may be applicable to data matrices that arise in practice. In this work, we study more general AMP algorithms for random matrices $W$ that satisfy orthogonal rotational invariance in law, where $W$ may have a spectral distribution that is different from the semicircle and Marcenko-Pastur laws characteristic of white noise. The Onsager corrections and state evolutions in these algorithms are defined by the free cumulants or rectangular free cumulants of the spectral distribution of $W$. Their forms were derived previously by Opper, Çakmak, and Winther using non-rigorous dynamic functional theory techniques, and we provide rigorous proofs. Our motivating application is a Bayes-AMP algorithm for Principal Components Analysis, when there is prior structure for the principal components (PCs) and possibly non-white noise. For sufficiently large signal strengths and any non-Gaussian prior distributions for the PCs, we show that this algorithm provably achieves higher estimation accuracy than the sample PCs.

연구 동기 및 목표

• i.i.d. 또는 화이트 노이즈 행렬을 초월하여 일반적인 회전 대칭 랜덤 행렬로 약간 메시지 전파(AMP) 알고리즘의 이론적 기반을 확장하기 위해.
• 행렬의 스펙트럼 분포의 자유 누적량에 의존하는 Onsager 보정 및 상태 진화 공식을 엄밀히 증명하기 위해.
• 비백색 노이즈와 비정규 사전 분포를 가진 주성분을 고려한 구조적 주성분 분석(PCA)을 위한 베이즈-AMP 알고리즘을 개발하기 위해.
• 높은 신호 강도와 비정규 사전 분포 조건에서 고전적 표본 PCA에 비해 증명 가능한 추정 정확도 향상을 입증하기 위해.
• 자유 확률론을 통해 비i.i.d. 행렬 집단에 대한 대칭적 차원의 극한에서 상태 진화와 Onsager 보정의 타당성을 확립하기 위해.

제안 방법

• 회전 대칭 행렬의 스펙트럼 분포의 자유 누적량(또는 직사각형 자유 누적량)을 사용하여 AMP의 상태 진화 및 Onsager 보정을 유도한다.
• 비교적 교차하지 않는 분할과 Möbius 역행렬을 포함한 자유 확률론 도구를 사용하여 누적량을 모멘트로 표현한다.
• 비교적 교환되지 않는 확률 공간에서의 조건부 기대를 사용하여 직사각형 행렬의 직사각형 자유 누적량을 정의하고 분석한다.
• 누적량과 모멘트 성장에 대한 경계를 사용하여 스펙트럼 분포의 R-변환의 해석성을 확립한다.
• 주성분에 대한 사전 지식과 비정규 노이즈 모델을 통합하여 AMP 프레임워크를 구조적 PCA에 적용한다.
• Wasserstein 수렴과 경험적 스펙트럼 분포 분석을 사용하여 AMP 반복의 점근적 정규성을 정당화한다.

실험 결과

연구 질문

• RQ1 Onsager 보정 및 상태 진화는 i.i.d. 행렬을 초월하여 회전 대칭 집단으로 일반화될 수 있는가?
• RQ2 자유 누적량은 비백색, 회전 대칭 행렬에 대한 AMP 상태 진화를 특성화하는 데 어떤 역할을 하는가?
• RQ3 주성분에 비정규 사전 분포와 비백색 노이즈가 존재할 경우, PCA를 위한 베이즈-AMP 알고리즘이 표본 PCA보다 더 높은 추정 정확도를 달성할 수 있는가?
• RQ4 이러한 행렬에 대해 대규모 차원 극한에서 AMP 반복의 분포가 어떤 조건에서 정규 극한으로 수렴하는가?
• RQ5 자유 확률론의 이론적 프레임워크는 일반적인 회전 대칭 행렬 집단에 대한 AMP 상태 진화를 엄밀히 정당화하는 데 어떻게 활용될 수 있는가?

주요 결과

• AMP의 Onsager 보정 및 상태 진화는 행렬 W의 스펙트럼 분포의 자유 누적량으로 완전히 특성화된다.
• 직사각형 행렬의 경우, 상태 진화는 비가환 확률 공간에서의 조건부 기대 구조를 통해 유도된 직사각형 자유 누적량에 의존한다.
• 스펙트럼 분포의 R-변환은 스펙트럼 측도의 모멘트를 유계로 제한하는 M에 비례하는 반경 (16M)⁻²의 디스크 내에서 해석적이다.
• 신호 강도가 충분히 크고 주성분의 사전 분포가 비정규일 경우, 구조적 PCA를 위한 베이즈-AMP 알고리즘이 표본 PCA보다 증명 가능한 높은 추정 정확도를 달성한다.
• 제시된 스펙트럼 및 모멘트 조건 하에서 AMP 반복의 경험적 분포가 정규 극한으로 수렴하는 것이 엄밀히 입증된다.
• 이 프레임워크는 이전의 i.i.d. 및 블록-i.i.d. 행렬 결과를 일반화하여 비정규, 상관 행렬 집단에 대한 통합적 접근을 제공한다.