[論文レビュー] Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing

Ramji Venkataramanan, Kevin Kögler+1 more|arXiv (Cornell University)|Dec 8, 2021

Blind Source Separation Techniques被引用数 11

ひとこと要約

本稿では、回転不変な設計行列を備えた一般化線形モデル（GLM）向けに、回転不変近似メッセージパッシング（RI-GAMP）と呼ばれる新規なAMPアルゴリズムを提案する。この手法は、高次元極限において状態遷移の特徴付けを達成し、特異値分解（SVD）を回避することで、Vector AMPに匹敵する性能を著しく低い計算コストで達成する。また、設計行列がi.i.d.ガウス分布に従う場合、標準的なGAMPに還元される。

ABSTRACT

We consider the problem of signal estimation in generalized linear models defined via rotationally invariant design matrices. Since these matrices can have an arbitrary spectral distribution, this model is well suited for capturing complex correlation structures which often arise in applications. We propose a novel family of approximate message passing (AMP) algorithms for signal estimation, and rigorously characterize their performance in the high-dimensional limit via a state evolution recursion. Our rotationally invariant AMP has complexity of the same order as the existing AMP derived under the restrictive assumption of a Gaussian design; our algorithm also recovers this existing AMP as a special case. Numerical results showcase a performance close to Vector AMP (which is conjectured to be Bayes-optimal in some settings), but obtained with a much lower complexity, as the proposed algorithm does not require a computationally expensive singular value decomposition.

研究の動機と目的

• 回転不変な設計行列を備えた一般化線形モデル向けに、計算コストが低く効率的な近似メッセージパッシングアルゴリズムを開発すること。回転不変設計行列はi.i.d.ガウス行列を一般化し、複雑な相関構造を捉える。
• 次元が高次元に近づく極限における、提案アルゴリズムの性能を、状態遷移再帰式を用いて厳密に特徴付けること。
• 特異値分解が高価であるため、Vector AMPなどの既存手法と比較して計算複雑度を低減すること。
• 設計行列のスペクトル分布の自由コマリァントを用いてスペクトル情報を統合することで、既存のAMPフレームワークを統合・拡張すること。
• 回転不変GLMにおける他の推定器（例えばスペクトル法）の分析に柔軟に適用可能なフレームワークを提供すること。

提案手法

• アルゴリズムRI-GAMPは、回転不変設計行列のスペクトル分布の自由コマリァントに依存する、2つの多次元ノイズ除去関数を用いる。
• 次元が大きくなるに従って、アルゴリズムの漸近的挙動を追跡する状態遷移再帰式を繰り返し更新することで、信号推定値を更新する。
• 自由コマリァントが既知であると仮定することで、状態遷移が導出され、性能の正確な予測が可能になる。
• 回転不変性を活用して設計行列のSVD計算を回避することで、標準GAMPと同等のオーダーの計算複雑度にまで低減される。
• 設計行列がi.i.d.ガウス分布に従う場合、RI-GAMPは正確に標準GAMPに還元され、従来の理論と整合性を保つ。
• 理論的分析は、帰納法と測度集中の議論を用いた、新規な状態遷移の証明に依拠しており、コーシー・シュワルツ不等式およびリプシッツ連続性を用いて収束が確立される。

実験結果

リサーチクエスチョン

• RQ1 回転不変設計行列を備えた一般化線形モデル向けに、計算コストが低い近似メッセージパッシングアルゴリズムを設計可能か？
• RQ2 提案されたRI-GAMPアルゴリズムは、高次元設定において、ベイズ最適推定器（例：Vector AMP）に近い性能を達成するか？
• RQ3 RI-GAMPの性能を高次元極限で特徴付ける、厳密な状態遷移再帰式を導出可能か？
• RQ4 合成データおよび実世界のデータにおいて、RI-GAMPとVector AMPの精度および計算コストの比較は？
• RQ5 このフレームワークは、回転不変GLMにおけるスペクトル推定器の分析に拡張可能か？

主な発見

• RI-GAMPは、線形回帰および1ビット圧縮センシングの両タスクにおいて、ベイズ最適と予想されるVector AMPに非常に近い性能を達成する。
• 計算複雑度は標準GAMPと同等のオーダーであり、Vector AMPが要請する高価なSVD計算を回避する。
• RI-GAMPの状態遷移再帰式は厳密に証明されており、次元n,d→∞で固定されたδ=n/dの下で、アルゴリズムの性能を高次元極限に特徴付ける。
• 設計行列がi.i.d.ガウス分布に従う場合、RI-GAMPは正確に標準GAMPに還元され、従来の理論と整合性を保つ。
• 合成データおよび画像再構成に関する数値結果から、RI-GAMPはSVDベースの代替手法と比較して著しく短い実行時間で高い精度を維持することが示された。
• 理論的枠組みにより、回転不変GLMにおけるスペクトル推定器の分析が可能となり、高次元統計的推定分野における新たな研究方向性が開かれた。