[논문 리뷰] Universality of Approximate Message Passing algorithms and tensor networks

Tianhao Wang, Xinyi Zhong외 1명|arXiv (Cornell University)|2022. 06. 27.

Random Matrices and Applications인용 수 7

한 줄 요약

이 논문은 일반화된 위그너 및 무게 중심이 없는 또는 비균일한 성분을 가진 치우침이 있는 행렬을 포함한 광범위한 클래스의 랜덤 행렬에 대해 약간의 소통 메시지 전달(AMP) 알고리즘의 보편성을 확립한다. 간소화된 모멘트 방법 증명을 통해 텐서 네트워크 분석에 뿌리를 두고 있으며, 이는 AMP 상태 진화가 보편적으로 성립함을 보여주며, 이는 이전 결과를 i.i.d. 가우시안 또는 직교 불변 행렬을 넘어서 확장하고, 텐서 네트워크와의 渐近 자유성(Asymptotic Freeness)을 확립한다.

ABSTRACT

Approximate Message Passing (AMP) algorithms provide a valuable tool for studying mean-field approximations and dynamics in a variety of applications. Although these algorithms are often first derived for matrices having independent Gaussian entries or satisfying rotational invariance in law, their state evolution characterizations are expected to hold over larger universality classes of random matrix ensembles. We develop several new results on AMP universality. For AMP algorithms tailored to independent Gaussian entries, we show that their state evolutions hold over broadly defined generalized Wigner and white noise ensembles, including matrices with heavy-tailed entries and heterogeneous entrywise variances that may arise in data applications. For AMP algorithms tailored to rotational invariance in law, we show that their state evolutions hold over delocalized sign-and-permutation-invariant matrix ensembles that have a limit distribution over the diagonal, including sensing matrices composed of subsampled Hadamard or Fourier transforms and diagonal operators. We establish these results via a simplified moment-method proof, reducing AMP universality to the study of products of random matrices and diagonal tensors along a tensor network. As a by-product of our analyses, we show that the aforementioned matrix ensembles satisfy a notion of asymptotic freeness with respect to such tensor networks, which parallels usual definitions of freeness for traces of matrix products.

연구 동기 및 목표

• i.i.d. 가우시안 또는 회전 불변 행렬을 초월하여 약간의 소통 메시지 전달(AMP) 알고리즘의 보편성을 확장하는 것.
• 무거운 꼬리나 이질적인 분산 성분을 가진 일반화된 위그너 및 화이트 노이즈 집합에 대해 상태 진화 보편성을 확립하는 것.
• 지문화된, 부호 및 순열 불변 행렬 집합(예: 부분 히어르도 및 푸리에 변환의 샘플링)에 대해 보편성을 증명하는 것.
• AMP 보편성을 텐서 네트워크를 따라 랜덤 행렬과 대각 텐서의 곱을 분석하는 것으로 단순화한 모멘트 방법 증명을 개발하는 것.
• 이러한 행렬 집합과 텐서 네트워크 사이에 渐近 자유성의 개념을 확립하여, 전통적인 흔적에 대한 자유성의 일반화를 이루는 것.

제안 방법

• AMP 보편성을 텐서 네트워크 구조를 따라 랜덤 행렬과 대각 텐서의 곱을 분석하는 것으로 환원한다.
• 고차 모멘트의 渐진적 행동을 인덱스의 조합적 분할을 통해 추적하는 모멘트 방법 증명을 사용한다.
• 행렬 곱의 모멘트와 그 상호작용을 기술하기 위해 $ B_n(\tau_U, \tau_V) $, $ Q_n(\tau_U, \tau_V) $, 및 $ M_n(\tau_U, \tau_V) $ 와 같은 핵심 양을 정의한다.
• 순열과 관련된 이분 그래프에서 연결된 구성요소의 기여를 분리하기 위해 인덱스 집합의 분할 기반 분해를 적용한다.
• 교차 구성요소 상호작용을 고려하는 정교한 渐진 전개를 도입하여 오차 항이 $ O(n^{-1}) $ 또는 $ O(n^{-2}) $ 로 감소함을 보여준다.
• 보렐-칸텔리 및 마르코프 부등식을 활용하여 AMP 값의 네 번째 모멘트 수렴성을 증명함으로써 농도를 확보한다.

실험 결과

연구 질문

• RQ1 i.i.d. 가우시안 행렬을 위한 AMP 알고리즘의 상태 진화가, 꼬리가 두꺼운 또는 이질적인 분산 성분을 가진 일반화된 위그너 집합에서도 성립하는가?
• RQ2 AMP 보편성은 부호 및 순열 불변성 외에 추가로 회전 불변 집합으로까지 확장될 수 있는가? 특히 부분 히어르도나 푸리에 변환과 같은 구조적 행렬에 대해서는?
• RQ3 다양한 랜덤 행렬 집합에 걸쳐 AMP 보편성을 증명하는 데 단순화된 통합 프레임워크를 텐서 네트워크 기반으로 제공할 수 있는가?
• RQ4 이러한 일반화된 행렬 집합은 전통적인 랜덤 행렬 이론에서의 자유성과 유사한 방식으로 텐서 네트워크와의 渐近 자유성 형태를 보일 수 있는가?
• RQ5 인덕티브 조건화가 아닌 텐서 네트워크 구조에 초점을 맞춤으로써 모멘트 방법 증명을 단순화하고 더 명확하게 만들 수 있는가?

주요 결과

• 무거운 꼬리 성분과 이질적인 분산 성분이 있는 일반화된 위그너 및 화이트 노이즈 집합에 대해 AMP 상태 진화는 보편적이다. 이는 $ (\text{log } n)/n $ 이하의 희박성인 희박한 무작위 그래프까지 포함된다.
• 지문화된, 부호 및 순열 불변 행렬 집합(예: 부분 히어르도 및 푸리에 변환)에 대해 AMP 상태 진화는 성립하며, 이는 빠른 행렬-벡터 곱셈을 허용한다.
• 이 증명 기법은 AMP 보편성을 텐서 네트워크를 따라 랜덤 행렬과 대각 텐서의 곱을 분석하는 것으로 환원하여, 이전의 인덕티브 조건화 방법보다 단순화한다.
• 논문은 이러한 행렬 집합이 텐서 네트워크와의 渐近 자유성 조건을 만족함을 확립하였으며, 이는 대각선에서의 자유성 조건과 일치하는 극한 행동을 갖는다.
• AMP 값의 네 번째 모멘트는 평균 주위에 농도를 보이며 오차 항이 $ O(n^{-2}) $ 로 감소함을 의미하며, 이는 마르코프 부등식과 보렐-칸텔리 보조정리에 의해 확률 수렴을 이끌어낸다.
• 결과는 행렬의 행/열 정규화가 필요한 실용적 데이터 응용, 예를 들어 계수 값 또는 누락된 데이터를 포함하는 행렬에 대해서도 확장되며, 이 경우 분산은 이질적이지만 渐진 행동은 여전히 보편적이다.