[論文レビュー] Bayesian inference for spatio-temporal spike-and-slab priors

Michael Riis Andersen, Aki Vehtari+2 more|arXiv (Cornell University)|Sep 15, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用数 13

ひとこと要約

本稿では、スパイクアンドスラブ確率の変換されたガウス過程を用いて空間的・時間的相関を有するスパース性をモデル化するベイジアン時空間スパイクアンドスラブ事前分布を提案する。期待誤差法（EP）を用いた近似推論により、下線的な線形逆問題におけるスパース信号の正確な回復が可能となり、大規模応用のための3つの近似スキームにより計算効率が向上する。

ABSTRACT

In this work, we address the problem of solving a series of underdetermined linear inverse problems subject to a sparsity constraint. We generalize the spike-and-slab prior distribution to encode a priori correlation of the support of the solution in both space and time by imposing a transformed Gaussian process on the spike-and-slab probabilities. An expectation propagation (EP) algorithm for posterior inference under the proposed model is derived. For large scale problems, the standard EP algorithm can be prohibitively slow. We therefore introduce three different approximation schemes to reduce the computational complexity. Finally, we demonstrate the proposed model using numerical experiments based on both synthetic and real data sets.

研究の動機と目的

• 空間的・時間的相関を有するスパースなサポートを有する下線的な線形逆問題を扱う。
• スパイクアンドスラブ事前分布を階層的モデルで拡張し、潜在ガウス過程を介して空間的・時間的滑らかさをサポートに組み込む。
• 提案されたモデル下での事後分布計算のため、期待誤差法（EP）を用いた効率的な近似推論アルゴリズムを開発する。
• EPの計算複雑性を、D および T が大きい場合に特に効果的に低減するための3つの新規近似スキームを考案する。
• 動的圧縮センシングおよびEEG源局在化を含む合成データおよび実世界データを用いて、本手法の有効性を実証する。

提案手法

• 信号行列 X ∈ ℝ^{D×T} のスパース性パターンを、空間的・時間的領域における潜在ガウス過程に従うスパイクアンドスラブ事前分布でモデル化する。
• 潜在GP値をスパイクアンドスラブ包含確率にマップするため、ロジスティックシグモイド関数 φ(γ_i) を用いた変換されたガウス過程を導入する。
• 事後分布が解析的に扱えないため、期待誤差法（EP）を用いてスパース信号およびハイパーパrameterの事後分布を近似する。
• モーメントマッチングと要因分解の簡略化により、EPの計算コストを低減する3つの近似スキームを提案する。
• スパース線形分類への応用を可能にするために、プロビット尤度関数を用いて二値観測を拡張する。
• 最大尤度推定における収束問題を回避するため、ハイパーパrameter ν₀ および κ²₀ に弱情報的事前分布を導入する。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的構造を有する階層的スパイクアンドスラブ事前分布は、下線的な線形逆問題における回復性能を向上させ得るか？
• RQ2 ガウス過程事前分布をどのように効果的に用いることで、空間的・時間的スムーズなスパース性パターンをモデル化できるか？
• RQ3 提案されたモデル下での正確なEP推論における計算ボトルネックは何か、そしてそれらをどのように緩和できるか？
• RQ4 事前分布に空間的・時間的相関を組み込むことで、標準的なスパース性促進手法と比較して、より良好なフェーズ遷移挙動が得られるか？
• RQ5 ハイパーパrameterの最尤推定はどれほど頑健か？また、退化状態において安定化させるためにどのような事前分布が有効か？

主な発見

• 提案された時空間スパイクアンドスラブ事前分布は、構造的スパース性を効果的にモデル化でき、合成データおよび実データ両方で信号回復性能が向上する。
• 期待誤差法は、高次元設定下でも正確な事後分布近似を提供する。
• 提案された3つの近似スキームにより、大規模問題における計算コストが顕著に低減されつつ、推論精度を維持できる。
• 真のサポートが連続的である場合、尤度関数の表面にリッジが存在するため、ハイパーパrameter ν₀ および κ²₀ の最尤推定が発散する可能性がある。
• κ²₀ に半t分布や対数正規分布などの弱情報的事前分布を課すことにより、最適化が明確に定義され、収束が安定化する。
• 合成実験における事後推論により、低SNR条件下でも真のサポートが効果的に回復され、非構造的事前分布を用いた手法を上回る性能を示す。