[論文レビュー] Bayesian inference for logistic models using Polya-Gamma latent variables

Nicholas G. Polson, James G. Scott+1 more|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Bayesian Inference参考文献 31被引用数 10

ひとこと要約

本稿では、ポリア・ガンマ latent 変数を用いたベイズ的ロジスティック回帰のための新しいデータ拡張法を提案する。この手法により、メトロポリス・ハスティングス法や数値積分を用いずに正確なギブスサンプリングが可能となる。このアプローチは、二項尤度を新しいクラスのポリア・ガンマ分布を用いて条件付きガウス型に変換することで、階層モデルや空間モデルを含む多様なモデルにおいて、計算効率が高く使いやすい。

ABSTRACT

We propose a new data-augmentation strategy for fully Bayesian inference in models with binomial likelihoods. The approach appeals to a new class of Polya-Gamma distributions, which are constructed in detail. A variety of examples are presented to show the versatility of the method, including logistic regression, negative binomial regression, nonlinear mixed-effects models, and spatial models for count data. In each case, our data-augmentation strategy leads to simple, effective methods for posterior inference that: (1) circumvent the need for analytic approximations, numerical integration, or Metropolis-Hastings; and (2) outperform other known data-augmentation strategies, both in ease of use and in computational efficiency. All methods, including an efficient sampler for the Polya-Gamma distribution, are implemented in the R package BayesLogit. In the technical supplement appended to the end of the paper, we provide further details regarding the generation of Polya-Gamma random variables; the empirical benchmarks reported in the main manuscript; and the extension of the basic data-augmentation framework to contingency tables and multinomial outcomes.

研究の動機と目的

• 尤度関数が解析的に扱えないという長年の課題に起因する、ロジスティック回帰における計算的に効率的なベイズ推論の実現を目的とする。
• 解析的近似や数値積分、メトロポリス・ハスティングス手順を回避する、シンプルで正確なデータ拡張スキームの開発を目的とする。
• ロジスティック回帰を越えて、二項分布、負の二項分布、多項分布の尤度を持つモデルへの応用を目的とする。
• 複雑な階層モデルでの利用を支援するため、ポリア・ガンマ変数の高速かつ自動的かつスケーラブルなサンプリング手法の開発を目的とする。
• 実データおよび合成データの多様な例において、計算効率と有効サンプルサイズの面で本手法の優位性を示すことを目的とする。

提案手法

• b>0 および c∈ℝ に対して定義される、無限個の独立なガンマ確率変数の級数として表される新しいクラスのポリア・ガンマ分布 PG(b,c) を導入する。
• 基本的な積分恒等式を確立する：二項尤度は、ポリア・ガンマ分布に従う精度パラメータ ω に関するガウス型スケール混合として表現可能である。
• 線形予測子 ψ が与えられたもとでの ω の条件付き後erior分布が PG(b, ψ) に従うことを導出し、共役更新を用いたギブスサンプリングスキームを可能にする。
• デヴロワ (1986) の交代級数法を用いて、PG(b,c) の受容/棄却サンプリング手法を開発し、PG(1,c) の場合に一様な受容確率の上限が 0.99919 となるように設計する。
• Rパッケージ BayesLogit に本手法を実装し、ロジスティック回帰、負の二項回帰、非線形混合効果モデル、空間モデルにおける効率的な後eriorサンプリングを可能にする。
• ポリア・ガンマ表現を用いて、回帰係数の完全条件付きガウス更新を可能にするとともに、ω を補助的 latent 変数として扱う。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰におけるベイズ推論に、メトロポリス・ハスティングス法や数値積分を回避するシンプルで正確なデータ拡張スキームを開発可能か？
• RQ2 ポリア・ガンマ表現は、階層モデルや複雑なモデルにおいて、既存の手法よりも効率的な後eriorサンプリングを実現するか？
• RQ3 ポリア・ガンマフレームワークは、過分散を伴うカウントモデル（例：負の二項回帰）へ拡張可能か？
• RQ4 ポリア・ガンマサンプラーの計算性能は、インdependence メトロポリス・ハスティングス法や他のデータ拡張スキームと比較してどうか？
• RQ5 ポリア・ガンマ手法は、大規模な計算やGPU加速環境での利用を想定した並列処理に効果的に対応可能か？

主な発見

• 空間モデルや階層モデルにおいて、本手法は反復あたりの計算コストが高めであるものの、有効サンプルサイズが競合手法の3〜5倍向上する。
• 豊富なデータを有する単純なロジスティック回帰において、ポリア・ガンマ手法は、適切にチューニングされたインdependence メトロポリス・ハスティングスサンプラーとほぼ同等の効率を達成する。
• ポリア・ガンマギブスサンプラーは一様エルゴディシティを示し、すべてのテスト環境で安定的かつ高速な収束を保証する。
• PG(1,c) に対する受容/棄却サンプラーは 99.919% の受容率を達成し、複雑なモデルにおけるブラックボックス利用に非常に効率的かつ適している。
• 1回の観測あたり多数のカウントを持つ負の二項回帰において、ポリア・ガンマ手法は有効サンプルサイズが最も高く維持されるが、PG(1,c) の和としての構成のため、有効サンプリングレートは低下する。
• 本手法により、従来、スケーラブルで正確なサンプリング手法が不足していた、二項尤度を持つ複雑な階層モデルに対しても正確なベイズ推論が可能になった。