[論文レビュー] On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression

Joyee Ghosh, Yingbo Li+1 more|arXiv (Cornell University)|Jul 26, 2015

Statistical Methods and Bayesian Inference被引用数 5

ひとこと要約

本稿は、分離が生じるベイジアンロジスティック回帰における独立したコーシー事前分布の使用を調査し、重い尾を持つため回帰係数の事後平均が存在しない可能性があることを証明している。ゲルマンらの推奨するコーシー事前分布がデフォルトとして用いられているが、著者らは完全な分離下で事後平均が発散することを示し、ギブスサンプリングの混合が極めて悪いことから、正規分布や自由度>1のスチューデントt分布のような軽い尾を持つ事前分布が、安定した推論に好ましいことを示唆している。

ABSTRACT

In logistic regression, separation occurs when a linear combination of the predictors can perfectly classify part or all of the observations in the sample, and as a result, finite maximum likelihood estimates of the regression coefficients do not exist. Gelman et al. (2008) recommended independent Cauchy distributions as default priors for the regression coefficients in logistic regression, even in the case of separation, and reported posterior modes in their analyses. As the mean does not exist for the Cauchy prior, a natural question is whether the posterior means of the regression coefficients exist under separation. We prove theorems that provide necessary and sufficient conditions for the existence of posterior means under independent Cauchy priors for the logit link and a general family of link functions, including the probit link. We also study the existence of posterior means under multivariate Cauchy priors. For full Bayesian inference, we develop a Gibbs sampler based on Polya-Gamma data augmentation to sample from the posterior distribution under independent Student-t priors including Cauchy priors, and provide a companion R package in the supplement. We demonstrate empirically that even when the posterior means of the regression coefficients exist under separation, the magnitude of the posterior samples for Cauchy priors may be unusually large, and the corresponding Gibbs sampler shows extremely slow mixing. While alternative algorithms such as the No-U-Turn Sampler in Stan can greatly improve mixing, in order to resolve the issue of extremely heavy tailed posteriors for Cauchy priors under separation, one would need to consider lighter tailed priors such as normal priors or Student-t priors with degrees of freedom larger than one.

研究の動機と目的

• 分離が生じるベイジアンロジスティック回帰において、独立したコーシー事前分布を用いた際の事後平均の理論的性質を調査すること。
• 特にコーシー事前分布下で分離が生じる場合、回帰係数の事後平均が存在するかどうかを特定すること。
• 分離データ設定下におけるコーシー事前分布下でのMCMCサンプリング（特にギブスサンプリング）の性能を評価すること。
• 正規分布や自由度>1のスチューデントt分布などの軽い尾を持つ代替事前分布と、コーシー事前分布の挙動を比較すること。
• 分離下で不安定な事後推論を避けるために、ベイジアンロジスティック回帰における事前分布選択に関する実用的指針を提供すること。

提案手法

• 測度論的議論と変数変換技術を用いた理論的分析により、独立したコーシー事前分布下での事後平均の存在を検討する。
• スケーリングされた方向パラメータ化への変換を用いて、多変量コーシー事前分布下での回帰係数の同時事前密度を導出する。
• ポリャ・ガン・データ拡張を適用し、スチューデントt事前分布（コーシーを含む）下での事後分布からのギブスサンプリングを可能にする。
• 被積分関数を有界化するため、分離錐内にコンactな長方形部分集合を構築し、事後モーメントの発散を確立する。
• 不等式と漸近的解析を用いて、完全な分離下で事後平均の積分が無限大に発散することを示す。
• 補足資料としてRパッケージに実装されたギブスサンプラーを用い、スチューデントt事前分布（コーシーを含む）下での事後サンプリングを実行する。

実験結果

リサーチクエスチョン

• RQ1 独立したコーシー事前分布を用いたロジスティック回帰で分離が生じる状況下で、回帰係数の事後平均が存在する条件は何か？
• RQ2 分離が生じる場合、係数の事後平均は無限大または負の無限大に発散するか？
• RQ3 分離データ設定下で、コーシー事前分布と軽い尾を持つ事前分布の両方におけるギブスサンプリングの性能はどのように比較されるか？
• RQ4 ポリャ・ガン・データ拡張を用いることで、ロジスティック回帰におけるコーシー事前分布下での効率的な事後サンプリングが可能になるか？
• RQ5 分離が生じる状況下でコーシー事前分布を使用する場合、完全ベイズ推論にどのような影響があるか？

主な発見

• 完全な分離が生じるロジスティック回帰において、独立したコーシー事前分布下では回帰係数の事後平均は存在しない。
• 分離方向に関連する係数の事後平均は、分離錐内のコンパクトな部分集合における積分の発散を通じて、無限大に発散することが示された。
• 事後平均が存在する場合でも、重い尾のためコーシー事前分布下での事後サンプルの大きさは通常よりも著しく大きくなることがある。
• コーシー事前分布下でのギブスサンプリングは極めて悪い混合を示し、分離データにおけるマルコフ連鎖の収束が著しく悪いことを示している。
• スタンにおけるノーアンターン・サムプラーや他の代替アルゴリズムは混合を改善できるが、重い尾を持つ事後分布の根本的問題を解決しない。
• 正規分布や自由度が1より大きいスチューデントt分布のような軽い尾を持つ事前分布が、分離下での事後推論の不安定性を回避するため推奨される。