[論文レビュー] Maximin Analysis of Message Passing Algorithms for Recovering Block Sparse Signals

Armeen Taeb, Arian Maleki+2 more|arXiv (Cornell University)|Mar 10, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用数 8

ひとこと要約

本稿は、強いアンダーサンプリング状態（δ → 0）において、任意の非線形圧縮関数を用いた近似メッセージパッシング（AMP）が、固定ブロックサイズ B に対してブロックスパース信号を回復する際に、グループLASSOを上回ることはできないことを確立している。主な結果は、AMPの位相遷移閾値が漸近的に B/(2 log(1/δ)) で有界であることであり、これはグループLASSOの性能と一致する。したがって、固定 B に対して強いアンダーサンプリング下では、AMPは改善をもたらさないことが証明される。これは、大規模ブロックの状態では以前に観察された利点とは対照的である。

ABSTRACT

We consider the problem of recovering a block (or group) sparse signal from an underdetermined set of random linear measurements, which appear in compressed sensing applications such as radar and imaging. Recent results of Donoho, Johnstone, and Montanari have shown that approximate message passing (AMP) in combination with Stein's shrinkage outperforms group LASSO for large block sizes. In this paper, we prove that, for a fixed block size and in the strong undersampling regime (i.e., having very few measurements compared to the ambient dimension), AMP cannot improve upon group LASSO, thereby complementing the results of Donoho et al.

研究の動機と目的

• 近似メッセージパッシング（AMP）が、強いアンダーサンプリング状態（δ → 0）において、ブロックスパース信号を回復する際にグループLASSOを上回れるかどうかを特定すること。
• 高次元極限における一般非線形圧縮関数を用いたAMPの位相遷移行動を分析すること。
• 強いアンダーサンプリング状態におけるAMPの根本的性能限界を、グループLASSOおよび情報理論的限界と比較して確立すること。
• レーダーや通信システムで一般的な小規模で固定されたブロックサイズに対して、AMPがグループLASSOを上回れるかどうかという未解決の問題を解消すること。

提案手法

• 著者らは、強いアンダーサンプリング状態（δ → 0）におけるAMPの最悪性能を評価するためのマキシミン解析フレームワークを採用した。
• ブロックスパース信号のガウス混合モデルに基づく事後平均推定器の平均二乗誤差を分析することで、AMPの漸近的位相遷移閾値を導出した。
• スパarsityレベル ε = ρδ である点質量と分布 G の混合から係数が抽出されるベイジアンフレームワークを用いた。
• 性能は事後平均の信号対雑音比を通じて特徴づけられ、集中法則および指数的尾部不等式を用いて境界が導出された。
• 平均二乗誤差の主要項を計算し、それが εμ²/B のスケーリングに従うことを示した。ここで μ は調整パrameter、ε はブロックスパarsity比率である。
• 得られた位相遷移閾値を δ に等置することで、臨界正規化スパarsity ρ*(δ) ∼ B/(2 log(1/δ)) を導出し、これはグループLASSOの閾値と一致する。

実験結果

リサーチクエスチョン

• RQ1 固定ブロックサイズ B に対して、強いアンダーサンプリング状態（δ → 0）において、任意の非線形圧縮関数を用いた近似メッセージパッシング（AMP）は、グループLASSOを上回れるか？
• RQ2 高次元極限におけるブロックスパース信号回復のためのAMPの漸近的位相遷移閾値は何か？
• RQ3 強いアンダーサンプリング下で、AMPの性能はグループLASSOおよび情報理論的限界と比べてどうなるか？
• RQ4 ブロックサイズ B が固定され、δ → 0 のとき、AMPとグループLASSOの間に根本的な性能ギャップがあるか？
• RQ5 AMPでスティーンの圧縮推定器を用いることで、強いアンダーサンプリング状態においてグループLASSOを上回る性能向上が得られるか？

主な発見

• 固定ブロックサイズ B および強いアンダーサンプリング状態（δ → 0）において、AMPに用いられる任意の非線形圧縮関数も、グループLASSOの性能を上回ることはできない。
• AMPの位相遷移閾値は漸近的に ρ*(δ) ∼ B/(2 log(1/δ)) で有界であり、これはグループLASSOの閾値と一致する。
• この結果は、固定 B に対して強いアンダーサンプリング下で、AMPがグループLASSOと情報理論的限界のギャップを埋めることができないことを示唆する。
• AMPの性能は、グループLASSOと同一の閾値によって根本的に制限されており、特にスティーン推定器のような高度な圧縮ルールを用いても同様である。
• この解析により、AMPが大規模ブロック（B → ∞）においてグループLASSOを上回ることの利点が、小規模で固定されたブロックサイズには拡張されないことが確認された。
• AMPの位相遷移は、非ゼロブロックの分布 G に依存せず、B と δ のみに依存する。