[論文レビュー] Universality of Approximate Message Passing algorithms and tensor networks

Tianhao Wang, Xinyi Zhong+1 more|arXiv (Cornell University)|Jun 27, 2022

Random Matrices and Applications被引用数 7

ひとこと要約

この論文は、重尾的または不均一な要素を有する一般化されたウィグナー行列や符号および置換不変性を有するアンサンブルを含む広範なクラスのランダム行列に対して、近似メッセージパッシング（AMP）アルゴリズムの普遍性を確立する。テンソルネットワーク解析に基づく簡略化されたモーメント法による証明を用いて、AMPの状態遷移が普遍的であることを示し、従来のi.i.d.ガウス分布または直交不変性を仮定した場合を超えて一般化され、テンソルネットワークとの漸近的自由性を確立する。

ABSTRACT

Approximate Message Passing (AMP) algorithms provide a valuable tool for studying mean-field approximations and dynamics in a variety of applications. Although these algorithms are often first derived for matrices having independent Gaussian entries or satisfying rotational invariance in law, their state evolution characterizations are expected to hold over larger universality classes of random matrix ensembles. We develop several new results on AMP universality. For AMP algorithms tailored to independent Gaussian entries, we show that their state evolutions hold over broadly defined generalized Wigner and white noise ensembles, including matrices with heavy-tailed entries and heterogeneous entrywise variances that may arise in data applications. For AMP algorithms tailored to rotational invariance in law, we show that their state evolutions hold over delocalized sign-and-permutation-invariant matrix ensembles that have a limit distribution over the diagonal, including sensing matrices composed of subsampled Hadamard or Fourier transforms and diagonal operators. We establish these results via a simplified moment-method proof, reducing AMP universality to the study of products of random matrices and diagonal tensors along a tensor network. As a by-product of our analyses, we show that the aforementioned matrix ensembles satisfy a notion of asymptotic freeness with respect to such tensor networks, which parallels usual definitions of freeness for traces of matrix products.

研究の動機と目的

• i.i.d.ガウス分布および回転不変性を仮定した行列に限らないAMPの普遍性を拡張すること。
• 重尾的または不均一分散を有する一般化されたウィグナーおよびホワイトノイズアンサンブルに対する状態遷移の普遍性を確立すること。
• 局所化されておらず、符号および置換不変性を有する行列アンサンブル（例えば、部分抽出されたハダマール変換やフーリエ変換を含む）に対する普遍性を証明すること。
• AMPの普遍性を、テンソルネットワークに沿ったランダム行列と対角テンソルの積の分析に還元する簡略化されたモーメント法証明を構築すること。
• このような行列アンサンブルとテンソルネットワークとの間の漸近的自由性の概念を確立し、従来のトレースに関する自由性を一般化すること。

提案手法

• AMPの普遍性を、テンソルネットワーク構造に沿ったランダム行列と対角テンソルの積の分析に還元する。
• 高次モーメントの漸近的挙動を、インデックスの組み合わせ的分割により追跡するモーメント法証明を用いる。
• 行列積のモーメントとその相互作用を特徴付けるための主要な量 $ B_n( au_U, au_V) $, $ Q_n( au_U, au_V) $, および $ M_n( au_U, au_V) $ を定義する。
• 置換に関連する二部グラフにおける連結成分からの寄与を分離するために、インデックス集合の分割に基づく分解を適用する。
• 成分間の相互作用を考慮する修正された漸近的展開を導入し、誤差項が $ O(n^{-1}) $ または $ O(n^{-2}) $ で減少することを示す。
• ボレル＝カンテリの補題とマーカフの不等式を用いて、AMPの値の四番目のモーメントの収束を証明し、濃度を保証する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.ガウス行列を想定したAMPの状態遷移は、重尾的または不均一分散を有する一般化されたウィグナーアンサンブルに対しても成り立つか？
• RQ2 符号および置換不変性のみを満たす回転不変アンサンブル、例えば部分抽出されたフーリエ変換を含む構造的行列に対してもAMPの普遍性は拡張可能か？
• RQ3 多様なランダム行列アンサンブルにわたるAMPの普遍性の証明を簡略化する統一的枠組みとして、テンソルネットワークに基づくものがあるか？
• RQ4 これらの一般化された行列アンサンブルは、古典的自由性と類似した形でテンソルネットワークに対してある種の漸近的自由性を示すか？
• RQ5 帰納的条件付けに代えて、テンソルネットワーク構造に注目することで、モーメント法による証明をより簡潔かつ明確にできるか？

主な発見

• 重尾的要素や不均一分散を有する一般化されたウィグナーおよびホワイトノイズアンサンブルに対しても、AMPの状態遷移は普遍的であり、スパースなランダムグラフ（$ ( ext{log } n)/n $ スパarsity まで）に対しても成立する。
• 局所化されておらず、符号および置換不変性を有する行列アンサンブル（例えば、部分抽出されたハダマール変換やフーリエ変換）に対してもAMPの状態遷移は成立し、高速な行列ベクトル乗算が可能である。
• 本手法の証明は、AMPの普遍性をテンソルネットワークに沿ったランダム行列と対角テンソルの積の分析に還元し、従来の帰納的条件付け手法よりも簡略化する。
• 本論文は、これらの行列アンサンブルがテンソルネットワークに対して漸近的自由性を満たすことを確立し、積の極限挙動が対角成分における自由性条件と一致することを示す。
• AMPの値の四番目のモーメントは、平均の周りに $ O(n^{-2}) $ の誤差で濃度を示し、マーカフの不等式およびボレル＝カンテリの補題により確率的収束が保証される。
• 結果は、分散が不均一であるが漸近的挙動が普遍的である計数値または欠損値を含む行列の行・列正規化を伴う実用的データ応用へと拡張可能である。