[論文レビュー] Conjugate Bayes for probit regression via unified skew-normals

Daniele Durante|arXiv (Cornell University)|Feb 26, 2018

Bayesian Methods and Mixture Models被引用数 8

ひとこと要約

この論文は、ガウス事前分布を用いたベイズプロビット回帰における事後分布が統一スケュー正規分布であることを確立し、正確な解析的計算と効率的なサンプリングを可能にする。この共役性を活用することで、高次元かつ不均衡な設定における事後分布推論が向上し、MCMC や近似手法に比べてより正確な代替手段を提供する一方で、取り扱いやすさと柔軟性を維持する。

ABSTRACT

Regression models for dichotomous data are ubiquitous in statistics. Besides being fundamental for inference on binary responses, such representations additionally provide an essential building-block in more complex formulations, such as predictor-dependent mixture models, deep neural networks, graphical models, and others. Within a Bayesian framework, inference typically proceeds by updating the Gaussian priors for the regression coefficients with the likelihood induced by a probit or logit model for the observed binary response data. The apparent absence of conjugacy in this Bayesian updating has motivated a wide variety of computational methods, including Markov Chain Monte Carlo (MCMC) routines and algorithms for approximating the posterior distribution. Although such methods are routinely implemented, data augmentation MCMC faces convergence and mixing issues in imbalanced data settings and in hierarchical models, whereas approximate routines fail to capture the skewness and the heavy tails typically observed in the posterior distribution of the coefficients. This article shows that the posterior for the coefficients of a probit model is indeed analytically available---under Gaussian priors---and coincides with a unified skew-normal. Due to this, it is possible to study explicitly the posterior distribution along with the predictive probability mass function of the responses, and to derive a novel and more efficient sampler for high-dimensional inference. A conjugate class of priors for Bayesian probit regression, improving flexibility in prior specification without affecting tractability in posterior inference, is also provided.

研究の動機と目的

• ベイズプロビット回帰における長年の非共役性の課題に取り組むこと。これにより、計算コストが高く、または不正確な近似手法に依存する状況が生じている。
• ガウス事前分布の下で、プロビット回帰係数の解析的取り扱いが可能な事後分布を提供すること。MCMC や変分ベイズ推論の制限を克服する。
• 標準的な MCMC 手法が混合性や収束性に問題を引き起こす高次元および不均衡データ設定における事後分布推論を改善すること。
• 計算的取り扱いやすさを損なわずに、プロビット回帰の共役事前分布のクラスを拡張すること。これにより、事前分布の指定における柔軟性を高める。
• スケュー正規構造を活用した、より効率的な MCMC サンプラーを導出すること。これにより、サンプリング効率が向上する。

提案手法

• 論文は、ガウス事前分布の下で、プロビット回帰における回帰係数の事後分布が統一スケュー正規分布に従うことを特定する。
• この結果を、多変量正規分布の累積分布関数を用いた新しい表現を通じて確立する。これにより、尤度と事前分布が統一スケュー正規族を通じて統合的に結びつけられる。
• この手法により、事後分布および予測分布の正確な計算が可能になり、特に二値応答の確率質量関数も正確に計算できる。
• スケュー正規構造に基づいた新しい MCMC サンプラーが開発され、高次元および階層的モデルにおいて混合性と収束性が向上する。
• このアプローチは、解析的取り扱いやすさを保ちつつ、より柔軟な事前分布モデリングを可能にする共役事前分布のクラスへ一般化可能である。
• 理論的導出は、統一スケュー正規分布の性質および切り捨て・折り返し正規変数との関連に依拠する。

実験結果

リサーチクエスチョン

• RQ1 ガウス事前分布の下で、ベイズプロビット回帰における事後分布は閉形式で表現可能か？
• RQ2 統一スケュー正規族は、プロビットモデルにおける正確な事後分布計算を可能にする共役構造を提供するか？
• RQ3 この共役性により、特に高次元または不均衡データ設定において、より効率的かつ正確な MCMC サンプリングが可能になるか？
• RQ4 解析的取り扱いやすさを損なわずに、プロビット回帰の共役事前分布のクラスを拡張可能か？
• RQ5 スケュー正規事後分布は、標準的な MCMC や変分ベイズ推論に比べて、事後分布の歪度や重たい尾部をより正確に捉えられるか？

主な発見

• ガウス事前分布を用いたベイズプロビット回帰における回帰係数の事後分布は、解析的に取り扱え、統一スケュー正規分布に従う。
• この共役性により、二値応答の確率質量関数を含む、事後分布および予測分布の正確な計算が可能になる。
• 高次元および不均衡データ設定において、混合性と収束性が向上する、より効率的な MCMC サンプラーが提供される。
• 近似手法がしばしばこれらの特徴を正しくモデル化できないのに対し、この事後分布は歪度や重たい尾部をより正確に捉える。
• 解析的取り扱いやすさを保ちつつ、より柔軟な事前分布指定を可能にする共役事前分布のクラスが導入される。
• 統一スケュー正規表現は、プロビットモデルにおける正確なベイズ推論の理論的基盤を提供し、長年の計算的課題を解決する。