[論文レビュー] Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior

Yutian Chen, Max Welling|arXiv (Cornell University)|Jun 5, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用数 6

ひとこと要約

本稿では、スパイクアンドスラブ事前分布を用いた完全ベイズ的手法により、ハイパーパrameterチューニングを必要としないスパース構造学習が、マルコフ確率場（MRF）に適用される。ラングジュアン・ダイナミクスと可逆リジュームMCMCを組み合わせることで、スパース性の高い状況でも、予測精度と安定性に優れた構造およびパラメータ推定が可能となり、L1正則化手法を上回る。

ABSTRACT

In recent years a number of methods have been developed for automatically learning the (sparse) connectivity structure of Markov Random Fields. These methods are mostly based on L1-regularized optimization which has a number of disadvantages such as the inability to assess model uncertainty and expensive cross-validation to find the optimal regularization parameter. Moreover, the model's predictive performance may degrade dramatically with a suboptimal value of the regularization parameter (which is sometimes desirable to induce sparseness). We propose a fully Bayesian approach based on a "spike and slab" prior (similar to L0 regularization) that does not suffer from these shortcomings. We develop an approximate MCMC method combining Langevin dynamics and reversible jump MCMC to conduct inference in this model. Experiments show that the proposed model learns a good combination of the structure and parameter values without the need for separate hyper-parameter tuning. Moreover, the model's predictive performance is much more robust than L1-based methods with hyper-parameter settings that induce highly sparse model structures.

研究の動機と目的

• L1正則化に基づくMRF構造学習の限界、すなわち正則化強度への感受性および不確実性の定量化の欠如を是正すること。
• スパース性選択の自動化と構造およびパラメータの統合推定を可能にする、完全ベイズフレームワークをMRF構造学習に開発すること。
• MRFにおけるパーティション関数の計算困難性に起因するMCMCの計算非実行性を克服するため、近似推論手法を設計すること。
• スパイクアンドスラブ事前分布が、L1ベースの手法に比べ、過学習および未学習の両者に対してより高いロバスト性を示すことを示すこと。
• 交差検証を用いずに、階層的事前分布によるスパース性レベルの学習によって、自動的なモデル選択を可能にすること。

提案手法

• MRFのエッジパラメータにスパイクアンドスラブ事前分布を適用し、L1ではなくL0正則化に相当するスパース性を誘導する。
• 固定された構造内でのパラメータ更新のための修正版ラングジュアンサンプラーを採用し、高次元パラメータ空間における混合性能を向上させる。
• 異なるMRF構造間での次元が変化する移動を提案するため、可逆リジュームMCMCを用い、次元を越えたサンプリングを可能にする。
• スパイクアンドスラブ確率 $p_0$ に階層的事前分布を導入し、手動でのチューニングなしにスパース性レベルを自動的に学習可能にする。
• ラングジュアン・ダイナミクスと可逆リジュームMCMCを組み合わせ、構造およびパラメータの両方における近似ベイズ推論を実行する。
• MRFにおける計算困難なパーティション関数に対処するため、正確なMCMCを避ける近似推論を実装する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布を用いた完全ベイズ的手法は、L1正則化手法に比べ、予測性能およびロバスト性において優れているか？
• RQ2 提案されたMCMC手法は、MRF構造の指数的増加する空間を効果的に探索しつつ、事後分布の正確な近似を維持できるか？
• RQ3 階層的事前分布 $p_0$ は、交差検証や手動チューニングなしに最適なスパース性レベルを自動的に学習できるか？
• RQ4 小規模データセットにおいて、ベイズモデルはL1ベースの手法に比べ、構造回復および予測精度の両面で優れているか？
• RQ5 L1正則化に比べ、スパイクアンドスラブ事前分布はMRFにおいて過学習および未学習の両者をどれほど軽減するか？

主な発見

• 階層的 $p_0$ 事前分布を用いたベイズモデルは、性能プロットの右上領域に近いF1スコアおよびCLL値を達成し、良好な同時エッジ検出とパラメータ学習を示した。
• シミュレートデータでは、ベイズ手法は真のスパース性レベルに非常に近づいたが、L1ベースの手法は同じスパース性レベルで顕著に未学習に近づいていた。
• MNISTデータセットでは、100および1000枚のトレーニング画像の両方で、ベイズ手法が平均CLLにおいてL1ベースの手法を上回った。特にスパースおよび密なモデル領域で顕著な優位性を示した。
• 計算が遅いものの、ベイズ手法はハイパーパrameterチューニングを一切必要とせず、L1手法とは異なり、未学習および過学習に対してロバストであった。L1手法は最適でない正則化強度では急激に性能が低下した。
• ベイズモデルからのギブスサンプリングにより、固定スパース性レベルでCLLが高かったL1ベースのモデルに比べ、質的に優れた画像サンプルが得られた。
• ハイパーパrameterの選択にほとんど依存しない予測性能を示した一方で、L1手法は最適な性能を得るためには慎重な交差検証が不可欠であった。