[論文レビュー] Self-Averaging Expectation Propagation

Burak Çakmak, Manfred Opper+2 more|VBN Forskningsportal (Aalborg Universitet)|Aug 23, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用数 7

ひとこと要約

本稿では、ランダム行列理論と自由確率論を活用することで、大規模ベイズ推論における高価な行列逆行列計算を回避する自己平均化期待値伝搬（EP）手法を提案する。i.i.d. または構造的ランダム測定行列を仮定することで、極限固有値分布の R-および S-変換を用いてキャビティ分散を計算し、事前計算可能な近似を実現する。この手法は標準的な i.i.d. AMP フレームワークを越えて一般化可能であり、非線形圧縮センシングにおいて高い精度を維持する。

ABSTRACT

We investigate the problem of approximate Bayesian inference for a general class of observation models by means of the expectation propagation (EP) framework for large systems under some statistical assumptions. Our approach tries to overcome the numerical bottleneck of EP caused by the inversion of large matrices. Assuming that the measurement matrices are realizations of specific types of ensembles we use the concept of freeness from random matrix theory to show that the EP cavity variances exhibit an asymptotic self-averaging property. They can be pre-computed using specific generating functions, i.e. the R- and/or S-transforms in free probability, which do not require matrix inversions. Our approach extends the framework of (generalized) approximate message passing -- assumes zero-mean iid entries of the measurement matrix -- to a general class of random matrix ensembles. The generalization is via a simple formulation of the R- and/or S-transforms of the limiting eigenvalue distribution of the Gramian of the measurement matrix. We demonstrate the performance of our approach on a signal recovery problem of nonlinear compressed sensing and compare it with that of EP.

研究の動機と目的

• 繰り返しの行列逆行列計算に起因する期待値伝搬（EP）の計算ボトルネックを克服すること。
• 一般化された近似的なメッセージパッシング（GAMP）フレームワークを i.i.d. 測定行列に限らない一般のランダム行列集合へ拡張すること。
• 測定行列の生成関数を用いて事前計算されたキャビティ分散を用いるスケーラブルなEPの変種を開発すること。
• EPキャビティ分散が、大きなバランスの取れたランダム行列の漸近的極限において自己平均化する条件を確立すること。
• 多様なランダム行列タイプを用いた非線形圧縮センシング問題において、手法を検証すること。

提案手法

• ランダム行列理論における漸近的自由性の概念を用いて、大規模システムにおけるEPキャビティ分散の極限的挙動を分析する。
• 測定行列のグラミアンの極限固有値分布の R-および S-変換を用いて、行列逆行列を伴わずにキャビティ分散を計算する。
• 反復的行列逆行列を避けるために、生成関数を用いたEP更新の固定点方程式を導出する。
• すべての潜在変数が同様に寄与する「民主的順序」を仮定することで、中心極限定理に基づく近似が可能になる。
• 標準EPにおける反復的行列逆行列を、測定行列のスペクトル特性から導かれる事前計算済みスカラー値に置き換える。
• キャビティ分散が大N極限において特定の実現に依存せず決定論的値に収束する自己平均化近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 要素を超える一般のランダム行列集合において、EPのキャビティ分散は自己平均化可能か？
• RQ2 グラミアンの固有値分布の R-および S-変換は、EPにおける行列逆行列をどの程度代替可能か？
• RQ3 非線形圧縮センシングにおいて、自己平均化EP手法は標準EPと比較してどの程度の性能を示すか？
• RQ4 キャビティ分散の漸近的近似が正確かつ安定になる条件は何か？
• RQ5 精度とスケーラビリティを保持したまま、この手法を構造的ランダム行列へ一般化可能か？

主な発見

• 測定行列が特定のランダム集合に従う場合、EPのキャビティ分散は大システム極限において自己平均化する。これにより、行列逆行列を伴わない事前計算が可能になる。
• グラミアン行列の極限固有値分布の R-および S-変換が、キャビティ分散を完全に決定し、反復的行列演算を置き換える。
• 非線形圧縮センシングにおいて、この手法は標準EPと同等の性能を達成しつつ、著しく低い計算コストを実現する。
• スペクトル的特徴付けを通じて、このアプローチはGAMPを i.i.d. 行列に限らない広いランダム行列集合へ一般化する。
• 「民主的順序」仮定のもとで自己平均化性が成立し、どの潜在変数もシステムに優位に寄与しない。
• 数値結果から、自己平均化EP手法はナイーブなEPよりも収束が速く、特に α = N/K が大きい場合にスケーリング性能に優れていることが示された。