[論文レビュー] Inference for Generalized Linear Models via Alternating Directions and Bethe Free Energy Minimization

Sundeep Rangan, Alyson K. Fletcher+2 more|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 63被引用数 6

ひとこと要約

本稿では、一般化線形モデル（GLMs）の収束性を保証する推論アルゴリズムであるADMM-GAMPを提案する。この手法は、大システム極限におけるベーゼ自由エネルギー最小化と、交替方向増分乗数法（ADMM）を組み合わせたもので、外側の自由エネルギーの線形化と内側のADMM最小化という二重ループ構造を用いることで、厳密に凸で滑らかな罰則関数に対して局所的最小値への収束を保証する。これにより、任意の設計行列に対しても発散する可能性がある従来のGAMPの代替として安定な手法が得られる。

ABSTRACT

Generalized Linear Models (GLMs), where a random vector $\mathbf{x}$ is observed through a noisy, possibly nonlinear, function of a linear transform $\mathbf{z}=\mathbf{Ax}$ arise in a range of applications in nonlinear filtering and regression. Approximate Message Passing (AMP) methods, based on loopy belief propagation, are a promising class of approaches for approximate inference in these models. AMP methods are computationally simple, general, and admit precise analyses with testable conditions for optimality for large i.i.d. transforms $\mathbf{A}$. However, the algorithms can easily diverge for general $\mathbf{A}$. This paper presents a convergent approach to the generalized AMP (GAMP) algorithm based on direct minimization of a large-system limit approximation of the Bethe Free Energy (LSL-BFE). The proposed method uses a double-loop procedure, where the outer loop successively linearizes the LSL-BFE and the inner loop minimizes the linearized LSL-BFE using the Alternating Direction Method of Multipliers (ADMM). The proposed method, called ADMM-GAMP, is similar in structure to the original GAMP method, but with an additional least-squares minimization. It is shown that for strictly convex, smooth penalties, ADMM-GAMP is guaranteed to converge to a local minima of the LSL-BFE, thus providing a convergent alternative to GAMP that is stable under arbitrary transforms. Simulations are also presented that demonstrate the robustness of the method for non-convex penalties as well.

研究の動機と目的

• 一般化近似メッセージパッシング（GAMP）が一般化線形モデル（GLMs）において任意の設計行列に対して不安定であり、発散する可能性がある問題を解決すること。
• 大システム極限におけるベーゼ自由エネルギー（LSL-BFE）の局所的最小値への収束を保証するGLMsの収束性を有する推論アルゴリズムを開発すること。
• GAMPの構造と単純さを維持しながら収束性を保証する、安定的かつ計算効率の良いGAMPの代替手法を提供すること。
• 経験的妥当性検証を通じて、近似推論手法の適用範囲を非凸な罰則関数へと拡張すること。

提案手法

• 本手法は二重ループアルゴリズムを用いる：外側のループでは大システム極限ベーゼ自由エネルギー（LSL-BFE）を線形化し、内側のループでは線形化されたLSL-BFEをADMMで最小化する。
• ADMMは得られた凸部分問題を解くために用いられ、厳密に凸で滑らかな罰則関数のもとでLSL-BFEの局所的最小値への収束を保証する。
• アルゴリズムは元のGAMPと類似した構造を維持しているが、安定性を高めるために追加の最小二乗最小化ステップを含む。
• 事前分布および尤度関数の分離可能性を活用し、平均と分散の反復的更新により、後方確率分布の周辺分布を効率的に計算する。
• 主な構成要素には、最適化を扱いやすい部分問題に分解するための補助変数と双対変数をADMMフレームワークで用いることである。
• アルゴリズムは変分最適化および信念伝播の原則に基づいて導出され、LSL-BFEのリャプノフ解析を通じて収束性が確立されている。

実験結果

リサーチクエスチョン

• RQ1 一般化線形モデルに対して、任意の設計行列に対しても安定性を保ち、標準的なGAMPとは異なり発散しない収束性を有する推論アルゴリズムを開発できるか？
• RQ2 ADMMを用いて大システム極限におけるベーゼ自由エネルギーの近似を最小化することで、凸で滑らかな罰則関数に対して収束が保証されるか？
• RQ3 理論的収束性が保証されない非凸な罰則関数に対して、提案されたADMM-GAMP手法は実際の応用でどのように性能を発揮するか？
• RQ4 線形化とADMM最小化の二重ループ構造は、GAMPの計算効率とメッセージパッシング構造を保ちながら収束性を保証できるか？

主な発見

• ADMM-GAMPは、厳密に凸で滑らかな罰則関数に対して、大システム極限ベーゼ自由エネルギー（LSL-BFE）の局所的最小値への収束が保証され、発散する可能性がある従来のGAMPに対する安定な代替手法を提供する。
• アルゴリズムは元のGAMPと類似した構造を維持しており、追加の最小二乗最小化ステップのみを追加しているため、計算の単純さが保たれている。
• シミュレーションにより、非凸な罰則関数に対しても頑健な性能が示され、理論的凸性仮定を越えた実用的安定性が裏付けられた。
• 標準的なGAMPが収束しない状況でも、GLM推論タスクにおいて正確な後方平均および分散推定を達成している。
• 理論的分析により、ADMM-GAMPの更新式が自由エネルギーの変分近似を最小化するものであることが確認され、既存の推論原理と関連づけられた。