[論文レビュー] Parameter expansion in local-shrinkage models

James G. Scott|arXiv (Cornell University)|Oct 25, 2010

Bayesian Methods and Mixture Models参考文献 16被引用数 12

ひとこと要約

この論文は、ベイジアン・ラッソやホースシューズ・プライアなど、局所的縮小モデルにおけるパラメータ拡張（PX）を検討し、グローバル分散が0に近い場合のMCMC収束を改善することを目的としている。非スパースなガウスモデルとは対照的に、スパースなモデルではPXによる向上は限定的であるが、スライス・サンプリングが同等の性能を示し、PXの適用範囲をより広いモデルへ拡張可能であることが示された。

ABSTRACT

This paper considers the problem of using MCMC to fit sparse Bayesian models based on normal scale-mixture priors. Examples of this framework include the Bayesian LASSO and the horseshoe prior. We study the usefulness of parameter expansion (PX) for improving convergence in such models, which is notoriously slow when the global variance component is near zero. Our conclusion is that parameter expansion does improve matters in LASSO-type models, but only modestly. In most cases this improvement, while noticeable, is less than what might be expected, especially compared to the improvements that PX makes possible for models very similar to those considered here. We give some examples, and we attempt to provide some intuition as to why this is so. We also describe how slice sampling may be used to update the global variance component. In practice, this approach seems to perform almost as well as parameter expansion. As a practical matter, however, it is perhaps best viewed not as a replacement for PX, but as a tool for expanding the class of models to which PX is applicable.

研究の動機と目的

• 正規スケール混合事前分布に基づくスパースなベイジアン・モデルにおける、パラメータ拡張（PX）がMCMC収束を顕著に改善するかどうかを評価すること。
• PXが非スパースなガウスモデルでは顕著な性能向上を示すのに対し、LASSO型モデルでは僅かな改善にとどまる理由を理解すること。
• グローバル分散成分の更新に向けた代替サンプリング戦略（例：スライス・サンプリング）を検討すること。
• PXが限定的な効果しか示さないモデルにおいて、スライス・サンプリングが実用的代替または補完として機能するかどうかを評価すること。
• 特にローカル縮小パラメータの存在に起因する、局所的縮小フレームワークにおけるPXの有効性が限定的である構造的要因についての洞察を提供すること。

提案手法

• グローバルスケール・パラメータτを、識別不能な2つの成分Δ（標準正規）とg²（逆ガンマ）に置き換えることで、標準的な局所的縮小モデルのパラメータ拡張（PX）版を導入し、τ = |Δ|g と定義する。
• Δとgの事後分布における条件付き独立性を活用することで、τの自己相関を低減し、MCMCの混合性能を向上させる。
• グローバル分散成分τ²の更新にスライス・サンプリングを適用し、高い自己相関を示す直接サンプリングを回避する。
• β_j、σ²、τ、およびローカル縮小パラメータλ_jの事後条件付き分布を導出する。この際、条件付き共役性と階層的構造を活用する。
• シミュレーションデータを用いて、PXギブス・サンプラーと標準ギブス・サンプラーを比較し、トレースプロットと自己相関関数を用いて収束性を評価する。
• ほとんどの事前分布に対しては、τの更新におけるλ_jの周辺化が計算的に不可能であることを示し、特定の族（例：超幾何的逆ベータ事前分布）を除いては成立しない。

実験結果

リサーチクエスチョン

• RQ1 パラメータ拡張（PX）は、ベイジアン・ラッソやホースシューズ・プライアを含む局所的縮小モデルにおいて、MCMC収束を顕著に改善するか？
• RQ2 PXは非スパースなガウスモデルでは顕著な性能向上を示すが、なぜスパースモデルでは僅かな改善にとどまるのか？
• RQ3 スライス・サンプリングは、これらのモデルにおけるグローバル分散成分τの収束性をPXと同等またはそれ以上に改善できるか？
• RQ4 ローカル縮小パラメータの存在に起因する、局所的縮小モデルのどの構造的特徴がPXの有効性を制限しているのか？
• RQ5 λ_jの周辺化を実現するギブス・サンプラー（λ_jのサンプリングを回避）を構築するのは可能か？また、標準的手法と比較してどのように異なるか？

主な発見

• パラメータ拡張（PX）はLASSO型モデルにおけるMCMC収束を改善するが、非スパースなガウスモデルでの顕著な性能向上とは対照的に、僅かな改善にとどまる。
• PXの改善が限定的である理由は、ローカル縮小パラメータλ_jの導入により、非スパースモデルで顕著なPXの利点をもたらす条件付き独立構造が破壊されるためである。
• グローバル分散τ²のスライス・サンプリングは、収束速度および自己相関低減の観点でPXとほぼ同等の性能を示す。
• スライス・サンプリングはPXの直接的置換ではないが、PXを意味的に適用可能なモデルの範囲を拡張する。
• ほとんどの事前分布に対しては、τの更新におけるλ_jの周辺化は計算的に不可能であるが、特定の例（例：超幾何的逆ベータ族）では可能である。
• シミュレーション結果から、PXは標準ギブス・サンプリングに比べてτの自己相関をより効果的に低減するが、非スパースモデルほど顕著な向上は得られない。