[論文レビュー] Variational inference for count response semiparametric regression

Jan Luts, M. P. Wand|arXiv (Cornell University)|Sep 17, 2013

Bayesian Methods and Mixture Models参考文献 12被引用数 4

ひとこと要約

この論文は、PoissonおよびNegative Binomialモデルを用いた計数応答変数を伴うベイジアン半パラメトリック回帰における、高速でスケーラブルな変分インファレンスアルゴリズムを開発する。非共役変分メッセージパッシングを活用することで、ペナルティスプラインを含む一般化線形混合モデルのリアルタイム適合が可能となり、従来のMCMCに比べて顕著にインファレンスを高速化しながらも、精度を維持する。

ABSTRACT

Fast variational approximate algorithms are developed for Bayesian semiparametric regression when the response variable is a count, i.e. a non-negative integer. We treat both the Poisson and Negative Binomial families as models for the response variable. Our approach utilizes recently developed methodology known as non-conjugate variational message passing. For concreteness, we focus on generalized additive mixed models, although our variational approximation approach extends to a wide class of semiparametric regression models such as those containing interactions and elaborate random effect structure.

研究の動機と目的

• 計数応答変数を伴う半パラメトリック回帰モデルに対する、効率的な近似ベイジアンインファレンス手法の不足に対処すること。
• PoissonおよびNegative Binomial分布のような非共役尤度に対して、平均場変分ベイズを拡張すること。
• 計算コストの高いMCMCに代わって高速な変分近似を用いることで、半パラメトリック回帰におけるリアルタイムおよび高スルーレートのデータ分析を可能にすること。
• スケーラブルなベイジアンフレームワーク内で、ペナルティスプラインや複雑なランダム効果構造を含むモデルをサポートすること。

提案手法

• ベイジアン半パラメトリックモデルにおける非共役尤度を扱うために、非共役変分メッセージパッシング（NC-VMP）を用いる。
• 潜在変数およびハイパーパrameterの事後分布を近似するために、平均場変分ベイズ（MFVB）を適用する。
• 精度パラメータに対して条件付き共役事前分布を、スムージングパラメータに対してはhalf-Cauchy事前分布を用いる階層的事前分布構造を採用する。
• 十分統計量および対数生成関数の期待値を用いて、変分パラメータの閉形式更新式を導出する。
• 計数応答をPoissonおよびNegative Binomial尤度でモデル化し、後者をPoisson-Gamma混合として表現する。
• 回帰係数およびランダム効果の平均と分散の変分パラメータに対して、反復的座標上昇更新を実装する。

実験結果

リサーチクエスチョン

• RQ1 非共役変分メッセージパッシングは、半パラメトリック回帰におけるPoissonおよびNegative Binomial応答モデルに効果的に適用可能か？
• RQ2 一般化線形混合モデルに計数データを適用する際、平均場変分ベイズは非共役尤度をどのように扱えるか？
• RQ3 大容量またはストリーミングデータ環境下で、提案手法の計算的・統計的性能はMCMCと比べてどうか？
• RQ4 ペナルティスプラインおよび複雑なランダム効果構造を含むモデルに対しても、本手法は効率的にスケーリング可能か？

主な発見

• 提案された変分インファレンスフレームワークにより、リアルタイムおよびストリーミングデータに適した、計数応答変数を伴う半パラメトリック回帰の高速かつスケーラブルな事後分布近似が可能になった。
• PoissonおよびNegative Binomialモデルの両方において、MCMCに比べて顕著な高速化が達成され、同時に競争力のある精度を維持した。
• 十分統計量および対数生成関数の期待値を用いた変分パラメータの閉形式更新式が導出され、計算が効率的になった。
• 統一された変分メッセージパッシングフレームワークを用いることで、ペナルティスプラインや構造化されたランダム効果を含む複雑なモデルを効果的に扱えた。