[論文レビュー] Lognormal and Gamma Mixed Negative Binomial Regression

Mingyuan Zhou, Lingbo Li+2 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Statistical Methods and Models参考文献 26被引用数 75

ひとこと要約

本稿では、分散および確率パラメータに対し、対数正規分布およびガンマ分布の混合を用いた、新しいベイズ的ネガティブバイノミアル回帰モデルを提案する。これにより、ポリア・ガンマ変数と複合ポアソン表現によるデータ拡張を用いて、閉形式のギブスサンプリングおよび変分ベイズ推論が効率的に行えるようになる。この手法は、スパース性を誘導する係数に対する柔軟な事前分布モデルを可能とし、過分散が生じるカウントデータに対してスケーラブルで一般化可能な推論を実現する。

ABSTRACT

In regression analysis of counts, a lack of simple and efficient algorithms for posterior computation has made Bayesian approaches appear unattractive and thus underdeveloped. We propose a lognormal and gamma mixed negative binomial (NB) regression model for counts, and present efficient closed-form Bayesian inference; unlike conventional Poisson models, the proposed approach has two free parameters to include two different kinds of random effects, and allows the incorporation of prior information, such as sparsity in the regression coefficients. By placing a gamma distribution prior on the NB dispersion parameter r, and connecting a lognormal distribution prior with the logit of the NB probability parameter p, efficient Gibbs sampling and variational Bayes inference are both developed. The closed-form updates are obtained by exploiting conditional conjugacy via both a compound Poisson representation and a Polya-Gamma distribution based data augmentation approach. The proposed Bayesian inference can be implemented routinely, while being easily generalizable to more complex settings involving multivariate dependence structures. The algorithms are illustrated using real examples.

研究の動機と目的

• カウントデータモデリングにおけるネガティブバイノミアル回帰のための効率的でベイズ的推論アルゴリズムの不足を解消すること。
• 対数正規分布およびガンマ分布の混合を用いて、2つの独立した確率的効果を導入することで、過分散が生じるカウントデータの柔軟なモデリングを可能とすること。
• 条件付き共役性を活用した閉形式の事後分布計算手法の開発により、複雑な依存構造への一般化と日常的応用を可能とすること。
• スパース性を誘導する係数に対する情報的事前分布を、整合的なベイズ枠組み内で組み込むこと。
• 共役指数型分布族の性質を活用したギブスサンプリングおよび変分ベイズによるスケーラブルな推論を提供すること。

提案手法

• 分散パラメータ r にガンマ事前分布を適用し、共役更新が可能となるようにする。
• 確率パラメータ p のロジット変換に、対数正規分布事前分布を適用することで、柔軟で非中心化パrameterizationが可能となる。
• ポリア・ガンマのデータ拡張スキームを用いて、条件付き共役な事後更新が実現される。
• 複合ポアソン表現を活用し、効率的なギブスサンプリングのための閉形式の条件付き事後分布を導出する。
• 同じ拡張構造を用いて変分ベイズ更新を導出し、スケーラブルな近似ベイズ推論を可能とすること。
• 両方の拡張戦略を組み合わせることで、条件付き共役性を最大限に活用し、計算効率を確保すること。

実験結果

リサーチクエスチョン

• RQ1 2つの独立した確率的効果を導入することで、カウントデータの過分散をよりよく捉えることができるベイズ的ネガティブバイノミアルモデルを構築できるか？
• RQ2 共役事前分布とデータ拡張を用いることで、このようなモデルにおいて閉形式の事後分布計算が実現可能か？
• RQ3 スパース性を誘導する係数に対する情報的事前分布が、取り扱い可能な推論枠組み内で組み込めるか？
• RQ4 従来のポアソンモデルや標準的なネガティブバイノミアルモデルと比較して、性能とスケーラビリティの面で本手法はどのように差をつけるか？
• RQ5 この推論フレームワークは、カウントデータにおける多次元的および階層的依存構造への一般化が可能か？

主な発見

• ポリア・ガンマおよび複合ポアソンのデータ拡張を用いることで、閉形式の事後更新が達成され、効率的なギブスサンプリングが可能となった。
• 変分ベイズ推論についても閉形式が導出され、スケーラブルな近似ベイズ推論が実現された。
• 対数正規分布およびガンマ分布の混合構造により、回帰係数に対するスパース性を誘導する事前分布を柔軟に指定可能となった。
• モジュラーな構造のおかげで、複雑な多次元的および階層的依存構造への一般化が可能となった。
• 実データセットを用いた実験結果から、過分散が生じるカウントデータの処理において、本モデルの有効性が示された。解釈可能性と推論効率の両面で優れた性能を発揮した。
• 本手法により、計算スケーラビリティとアルゴリズムの複雑さの従来の制限を克服し、カウントデータの日常的ベイズ分析が可能となった。