[論文レビュー] Approximate Message Passing with Consistent Parameter Estimation and Applications to Sparse Learning

Ulugbek S. Kamilov, Sundeep Rangan+2 more|arXiv (Cornell University)|Jul 17, 2012

Blind Source Separation Techniques参考文献 33被引用数 14

ひとこと要約

本稿では、線形非線形モデルにおけるスパース信号と未知パラメータを同時に推定する計算的に効率的なアルゴリズムである、適応的一般化近似メッセージパッシング（Adaptive GAMP）を提案する。状態遷移を用いた漸近的一貫性の証明により、非ガウス分布および非線形モデルに対しても、オラクル手法と同等の性能を達成することが保証される。

ABSTRACT

We consider the estimation of an i.i.d. (possibly non-Gaussian) vector $\xbf \in \R^n$ from measurements $\ybf \in \R^m$ obtained by a general cascade model consisting of a known linear transform followed by a probabilistic componentwise (possibly nonlinear) measurement channel. A novel method, called adaptive generalized approximate message passing (Adaptive GAMP), that enables joint learning of the statistics of the prior and measurement channel along with estimation of the unknown vector $\xbf$ is presented. The proposed algorithm is a generalization of a recently-developed EM-GAMP that uses expectation-maximization (EM) iterations where the posteriors in the E-steps are computed via approximate message passing. The methodology can be applied to a large class of learning problems including the learning of sparse priors in compressed sensing or identification of linear-nonlinear cascade models in dynamical systems and neural spiking processes. We prove that for large i.i.d. Gaussian transform matrices the asymptotic componentwise behavior of the adaptive GAMP algorithm is predicted by a simple set of scalar state evolution equations. In addition, we show that when a certain maximum-likelihood estimation can be performed in each step, the adaptive GAMP method can yield asymptotically consistent parameter estimates, which implies that the algorithm achieves a reconstruction quality equivalent to the oracle algorithm that knows the correct parameter values. Remarkably, this result applies to essentially arbitrary parametrizations of the unknown distributions, including ones that are nonlinear and non-Gaussian. The adaptive GAMP methodology thus provides a systematic, general and computationally efficient method applicable to a large range of complex linear-nonlinear models with provable guarantees.

研究の動機と目的

• 事前分布およびノイズ分布が完全に把握されていない線形非線形モデルにおいて、スパース信号と未知パラメータを同時に推定する課題に対処すること。
• 圧縮センシングやニューロンスパイク応答モデルの解析など、多様な問題に適用可能な一般的で計算的に効率的な手法を開発すること。
• 大規模 i.i.d. ガウス変換下でのパラメータ推定の一貫性に関する理論的保証を提供すること。
• 最大尤度によるパラメータ適応をメッセージパッシングフレームワークに統合することで、既存の EM-GAMP アプローチを統一・一般化すること。
• スカラー状態遷移方程式を用いた厳密な漸近的解析により、アルゴリズムの挙動を予測すること。

提案手法

• 期待値最大化（EM）と近似メッセージパッシングを統合した、GAMP の一般化としての Adaptive GAMP を提案する。
• 最大尤度の原則に従い、反復的適応関数 $ H_x^t $ および $ H_z^t $ を用いて、事前分布および測定チャネルの未知パラメータ $ heta_x $ と $ heta_z $ を推定する。
• 大規模 i.i.d. ガウス変換行列下でのアルゴリズムの漸近的成分別挙動を記述するためのスカラー状態遷移（SE）方程式を導出する。
• 尤度関数にやや弱い正則性条件を課すことにより、適応関数が真のパラメータに収束することを証明し、パラメータ推定の一貫性を保証する。
• 擬似リプシッツ連続性およびコンパクト性の仮定を用いて、大システム極限においてパラメータ推定値が真の値に収束することを確立する。
• 状態遷移の構造を活用し、真のパラメータを既知とするオラクルと同等の性能を達成することが示される。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングアルゴリズムは、理論的一貫性を保証する形で、線形非線形モデルにおけるスパース信号と未知パラメータを同時に推定可能か？
• RQ2 提案された Adaptive GAMP 法は、真のパラメータを完全に把握するオラクルアルゴリズムと同等の漸近的性能を達成するか？
• RQ3 状態遷移フレームワークは、AMP 型アルゴリズムにおける適応的パラメータ推定の分析に拡張可能か？
• RQ4 GAMP における適応的パラメータ推定は、どのような条件下で真のパラメータ値に収束するか？
• RQ5 非ガウス分布および非線形測定モデルに対し、アルゴリズムはどのように性能を示すか？

主な発見

• Adaptive GAMP は、やや弱い正則性条件のもとで、事前分布および測定チャネルの両方のパラメータについて、漸近的に一貫した推定値を達成する。
• Adaptive GAMP の漸近的成分別挙動は、スカラー状態遷移方程式の集合によって正確に特徴付けられ、古典的 AMP 分析を適応的設定に拡張する。
• 適応関数が各反復で最大尤度推定を実行する場合、アルゴリズムは真のパラメータを既知とするオラクルと同等の性能を達成する。
• 一貫性の結果は、非線形的および非ガウス的モデルを含む、任意の分布のパrametrization に対して成立する。
• 大システム極限における最大尤度解の連続性および一意性を用いて、パラメータ推定値が真の値に収束することを証明する。
• 本手法は既存の EM-GAMP アプローチを一般化し、理論的保証を備えたスパース線形モデルにおける学習の統一的フレームワークを提供する。