[論文レビュー] Approximate Message Passing algorithms for rotationally invariant matrices

Fan Zhou|arXiv (Cornell University)|Aug 27, 2020

Blind Source Separation Techniques被引用数 9

ひとこと要約

この論文は、回転不変なランダム行列に適用された近似メッセージパッシング（AMP）アルゴリズムのオンサガー補正および状態発展を、行列の固有値分布の自由コマリァントを用いて厳密に導出する。大規模な信号強度および非ガウス型の事前分布のもとで、提案されたベイズ-AMPアルゴリズムは、構造的PCAにおける標準的な標本主成分よりも高い推定精度を達成することが示された。

ABSTRACT

Approximate Message Passing (AMP) algorithms have seen widespread use across a variety of applications. However, the precise forms for their Onsager corrections and state evolutions depend on properties of the underlying random matrix ensemble, limiting the extent to which AMP algorithms derived for white noise may be applicable to data matrices that arise in practice. In this work, we study more general AMP algorithms for random matrices $W$ that satisfy orthogonal rotational invariance in law, where $W$ may have a spectral distribution that is different from the semicircle and Marcenko-Pastur laws characteristic of white noise. The Onsager corrections and state evolutions in these algorithms are defined by the free cumulants or rectangular free cumulants of the spectral distribution of $W$. Their forms were derived previously by Opper, Çakmak, and Winther using non-rigorous dynamic functional theory techniques, and we provide rigorous proofs. Our motivating application is a Bayes-AMP algorithm for Principal Components Analysis, when there is prior structure for the principal components (PCs) and possibly non-white noise. For sufficiently large signal strengths and any non-Gaussian prior distributions for the PCs, we show that this algorithm provably achieves higher estimation accuracy than the sample PCs.

研究の動機と目的

• i.i.d. またはホワイトノイズ行列に限らない、一般の回転不変なランダム行列へのAMPアルゴリズムの理論的基盤を拡張すること。
• 行列の固有値分布の自由コマリァントに依存する、AMPのオンサガー補正および状態発展の公式を厳密に証明すること。
• 主成分に非ホワイトノイズおよび非ガウス型事前分布がある構造的主成分分析（PCA）のためのベイズ-AMPアルゴリズムを開発すること。
• 高い信号強度および非ガウス型事前分布のもとで、古典的な標本PCAに比べて推定精度が向上することを示すこと。
• 自由確率論を用いて、非i.i.d. 行列アンサンブルにおける大次元極限における状態発展およびオンサガー補正の有効性を確立すること。

提案手法

• 回転不変行列の固有値分布の自由コマリァント（または長方形自由コマリァント）を用いて、AMPの状態発展およびオンサガー補正を導出する。
• 非交差分割およびモーベィウス反転を含む自由確率論の道具を用い、コマリァントをモーメントで表現する。
• 非可換確率空間における条件付き期待値の構造を用いて、長方形行列の長方形自由コマリァントを定義・分析する。
• コマリァントおよびモーメントの成長に対するバウンドを用いて、固有値分布のR変換の解析的性質を確立する。
• 主成分に事前知識および非ガウス型ノイズモデルを組み込むことで、AMPフレームワークを構造的PCAに適用する。
• ワッサーシュタイン収束および経験的固有値分布の分析を用いて、AMP反復の漸近的ガウス性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 オンサガー補正および状態発展をi.i.d. 行列にとどまらず、回転不変なアンサンブルに一般化するにはどうすればよいか？
• RQ2 自由コマリァントは、非ホワイトで回転不変な行列に対するAMPの状態発展を特徴付ける上でどのような役割を果たすか？
• RQ3 主成分に非ガウス型事前分布があり、ノイズが非ホワイトである場合、PCAのためのベイズ-AMPアルゴリズムは標本PCAを上回る推定精度を達成できるか？
• RQ4 このような行列において、大次元極限におけるAMP反復分布がガウス極限に収束する条件は何か？
• RQ5 自由確率論の理論的枠組みをどのように用いることで、一般の回転不変行列アンサンブルに対するAMPの状態発展を厳密に正当化できるか？

主な発見

• AMPのオンサガー補正および状態発展は、回転不変行列Wの固有値分布の自由コマリァントによって完全に特徴づけられる。
• 長方形行列の場合、状態発展は、非可換確率空間における条件付き期待値構造を介して導出された長方形自由コマリァントに依存する。
• 固有値分布のR変換は、モーメントの上限Mを用いて、半径(16M)⁻²に比例する円板内で解析的である。
• 信号強度が十分に大きく、主成分の事前分布が非ガウス型である場合、構造的PCAのためのベイズ-AMPアルゴリズムは、標本PCAを厳密に上回る推定精度を達成する。
• 与えられた固有値分布およびモーメントの条件のもとで、AMP反復の経験的分布がガウス極限に収束することは、厳密に確立された。
• 本フレームワークは、i.i.d. およびブロックi.i.d. 行列に対する既存の結果を一般化し、非ガウス型・相関のある行列アンサンブルに対する統一的アプローチを提供する。