[論文レビュー] Bayesian Pursuit Algorithms

Cédric Herzet, Angélique Drémeau|arXiv (Cornell University)|Jan 1, 2012

Sparse and Compressive Sensing Techniques参考文献 42被引用数 29

ひとこと要約

この論文は、ベルヌーイ・ガウス事前分布を用いたベイジアン枠組み内で、古典的なプルーニングアルゴリズム（例：OMP、CoSaMP）を統合・一般化する、スパース表現手法の族であるベイジアン・プルーニング・アルゴリズム（BPAs）を導入する。スパース復元問題を最大後確信度（MAP）推定として定式化することにより、原子の選択と除外が可能になり、原子の確率に関する事前知識を組み込み、未知のモデルパラメータを推定できる。これは、グリーディなプルーニング手法に対する原理的かつ柔軟な代替手法であり、既存のアルゴリズムと強い理論的関係を有する。

ABSTRACT

This paper addresses the sparse representation (SR) problem within a general Bayesian framework. We show that the Lagrangian formulation of the standard SR problem, i.e., $\mathbf{x}^\star=\arg\min_\mathbf{x} \lbrace \| \mathbf{y}-\mathbf{D}\mathbf{x} \|_2^2+λ\| \mathbf{x}\|_0 brace$, can be regarded as a limit case of a general maximum a posteriori (MAP) problem involving Bernoulli-Gaussian variables. We then propose different tractable implementations of this MAP problem that we refer to as "Bayesian pursuit algorithms". The Bayesian algorithms are shown to have strong connections with several well-known pursuit algorithms of the literature (e.g., MP, OMP, StOMP, CoSaMP, SP) and generalize them in several respects. In particular, i) they allow for atom deselection; ii) they can include any prior information about the probability of occurrence of each atom within the selection process; iii) they can encompass the estimation of unkown model parameters into their recursions.

研究の動機と目的

• 標準的なスパース表現問題とベルヌーイ・ガウス事前分布を用いたベイジアンMAP定式化との理論的接続を確立すること。
• 提案されたベイジアンMAP問題を解くための実行可能で反復的なアルゴリズムを開発し、原子の選択と除外の両方を可能にすること。
• 原子出現確率に関する事前知識と未知のモデルパラメータを組み込むことで、既存のプルーニングアルゴリズムを一般化すること。
• OMP、StOMP、CoSaMP、SPといった代表的なアルゴリズムが、特定のパrameter設定下で提案フレームワークの特殊ケースとして導かれることが示されること。

提案手法

• スパースベクトル x にベルヌーイ・ガウス事前分布を用いて、スパース表現問題をMAP推定問題として定式化する。
• スパースベクトル x とサポートインジケータ s に関して交互に最適化することにより、反復的アルゴリズム（BOMP、BSP など）を導出する。
• 変分推論と座標上昇法を用いて、近似後確信度モードを計算し、x と s の更新を効率的に実行する。
• 各原子のための事前確率 pi を組み込み、選択と除外をガイドする。これにより、情報に基づいたスパースネスモデリングが可能になる。
• アルゴリズムの再帰的枠組み内で、ノイズ分散 σ²w やスパースネス事前分散 σ²x といった未知パラメータの同時推定を可能にする。
• 特に σ²w → 0 および σ²x → ∈fty の極限において、提案アルゴリズムと古典的プルーニング手法（例：SP、OMP）との同等性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ℓ0正則化を伴う標準的なスパース表現問題は、ベルヌーイ・ガウス事前分布を用いたベイジアンMAP問題の極限ケースとして解釈可能か？
• RQ2 反復的ベイジアンアルゴリズムをどのように設計すれば、得られたMAP推定問題を効率的に解きつつ、原子の選択と除外の両方を可能にするか？
• RQ3 OMP、CoSaMP、SP といった既存のプルーニングアルゴリズムが、提案されたベイジアンフレームワークの特殊ケースとしてどれほど一般化可能か？
• RQ4 原子出現確率に関する事前知識を組み込むことで、スパース回復における性能と柔軟性はどの程度向上するか？
• RQ5 ノイズ分散やスパースネス事前分散といった未知のモデルパラメータを、アルゴリズム枠組み内で同時に推定可能か？

主な発見

• 提案されたベイジアン・プルーニング・アルゴリズムは、古典的プルーニング手法を一般化する。OMP、StOMP、CoSaMP、SP は、特定のパrameter設定下で特殊ケースとして示された。
• フレームワークは、OMP や StOMP といった前向きのみのプルーニング手法に欠けている原子の除外機能をサポートする。
• 各原子のための事前確率 pi を組み込むことで、構造的スパースネスの状況下でより情報に基づいた選択が可能になり、耐障害性と性能が向上する。
• 提案アルゴリズムは、最先端の手法と同等の性能を達成し、さまざまな信号モデルにおいて回復精度と安定性の向上が実証された。
• σ²w → 0 および σ²x → ∞ の極限において、提案アルゴリズムとSPとの理論的同等性が確立され、既知の手法との整合性が確認された。
• アルゴリズムのループ内での未知パラメータ（σ²w、σ²x）の同時推定により、モデル知識が不完全な現実世界の状況においても、柔軟性と耐障害性が向上した。