[論文レビュー] Rigorous Dynamics of Expectation-Propagation-Based Signal Recovery from Unitarily Invariant Measurements

Keigo Takeuchi|arXiv (Cornell University)|Jan 20, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用数 13

ひとこと要約

本稿は、ユニタリに不変な測定からのスパース信号復元における期待値伝搬（EP）に基づくメッセージパッシングアルゴリズムの状態発展（SE）方程式を厳密に導出する。これは、MaとPingが予想したSE式を正当化し、i.i.d. 非ガウス分布のスパース信号とユニタリに不変な測定行列を仮定した大規模システムにおいて、EPに基づく復元の漸近的ベイズ最適性を証明する。

ABSTRACT

This paper investigates sparse signal recovery based on expectation propagation (EP) from unitarily invariant measurements. A rigorous analysis is presented for the state evolution (SE) of an EP-based message-passing algorithm in the large system limit, where both input and output dimensions tend to infinity at an identical speed. The main result is the justification of an SE formula conjectured by Ma and Ping.

研究の動機と目的

• MaとPingが予想したEPに基づく信号復元の状態発展（SE）式を、大規模システムにおいて厳密に正当化すること。
• 大規模システムにおけるEPに基づくメッセージパッシングアルゴリズムの漸近的ベイズ最適性を確立すること。
• i.i.d. 非ガウス分布のスパース信号とユニタリに不変な測定行列を仮定した下でのEPに基づく復元のダイナミクスを分析すること。
• 平均値の結果にとどまらず、個々の信号要素に対しても成り立つ確率的正当化を提供すること。

提案手法

• NとMが比例して増大する大規模システムにおいて、δ = M/N を固定した下で、EPに基づくメッセージパッシングアルゴリズムの状態発展（SE）方程式を導出する。
• 大数の法則と複素ガウスベクトルの性質に基づく確率的アプローチを用いて、漸近的挙動を分析する。
• アルゴリズムの反復的ダイナミクスをモデル化するために、補助ベクトルおよび射影（例：q_t, h_t^G）を導入する。
• 測定行列の構造と射影演算子を扱うために、特異値分解（SVD）と疑似逆行列を用いる。
• 補題1を適用し、大規模システムにおいて補助ベクトルh_t^Gと非線形関数η_tとの期待内積が消えることを示す。
• 平均二乗誤差（MSE）とMMSE関数の等価性を確立し、SE式の妥当性を確認する。

実験結果

リサーチクエスチョン

• RQ1 MaとPingがEPに基づく信号復元に対して予想した状態発展式は、大規模システムにおいて厳密に成立するか？
• RQ2 ユニタリに不変な測定行列に対して、EPに基づくアルゴリズムの漸近的ベイズ最適性は証明可能か？
• RQ3 信号が非ガウス的かつスパースな場合、EPに基づくメッセージパッシングアルゴリズムのダイナミクスはどのように振る舞うか？
• RQ4 補助ガウスベクトルh_t^Gは、SE式の正当化において果たす役割は何か？
• RQ5 SEの導出を確率論的に行い、平均値だけでなく個々の信号要素に対しても有効な結果を得られるか？

主な発見

• MaとPingが予想した状態発展式は、大規模システムにおいて厳密に証明された。
• EPに基づくメッセージパッシングアルゴリズムは、ユニタリに不変な測定行列に対して漸近的ベイズ最適性を達成する。
• アルゴリズムの平均二乗誤差（MSE）は、信号分散の最小平均二乗誤差（MMSE）関数にほとんど確実に収束する。
• アルゴリズムの反復値の4次モーメントが一様に有界であることが示され、大規模システムにおける安定性が保証される。
• h_t^Gとη_tとの内積を含む重要な恒等式は、ほとんど確実に消えることが示され、SEの導出に不可欠である。
• 共分散と平均の更新の再帰的整合性を通じてSE方程式が検証され、アルゴリズムのダイナミクスの収束が確認された。