[論文レビュー] Efficient Data Augmentation in Dynamic Models for Binary and Count Data

Jesse Windle, Carlos M. Carvalho+2 more|arXiv (Cornell University)|Aug 4, 2013

Statistical Methods and Bayesian Inference参考文献 19被引用数 10

ひとこと要約

本稿では、二値およびカウントの応答を持つ動的一般化線形モデルに対して、効率的なポリア・ガムのデータ補完手法を導入し、共役な条件付き更新を用いた高速な事後分布シミュレーションを可能にした。特に、小規模なカウントや少ない試行回数の状況において、より高い有効サンプルサイズと高速な混合性能を達成することで、他の手法を上回っている。

ABSTRACT

Dynamic linear models with Gaussian observations and Gaussian states lead to closed-form formulas for posterior simulation. However, these closed-form formulas break down when the response or state evolution ceases to be Gaussian. Dynamic, generalized linear models exemplify a class of models for which this is the case, and include, amongst other models, dynamic binomial logistic regression and dynamic negative binomial regression. Finding and appraising posterior simulation techniques for these models is important since modeling temporally correlated categories or counts is useful in a variety of disciplines, including ecology, economics, epidemiology, medicine, and neuroscience. In this paper, we present one such technique, Pólya-Gamma data augmentation, and compare it against two competing methods. We find that the Pólya-Gamma approach works well for dynamic logistic regression and for dynamic negative binomial regression when the count sizes are small. Supplementary files are provided for replicating the benchmarks.

研究の動機と目的

• 二値やカウントデータなどの非ガウス型応答を伴う動的モデルにおけるベイズ推論の計算的課題に対処すること。
• チューニングパラメータや解析的近似を回避する、完全に自動化された効率的な事後分布シミュレーション手法の開発。
• 動的ロジスティック回帰およびネガティブ・バイノミアル回帰において、ポリア・ガムのデータ補完手法を既存のMCMC手法と比較すること。
• 時間的相関の程度、試行回数、カウントサイズの変動に応じた性能評価。
• 疫学、生態学、神経科学などの分野における研究者らが利用可能なスケーラブルで再利用可能な実装の提供。

提案手法

• 非共役な尤度関数を条件付き共役な形に変換するため、潜在変数としてポリア・ガム分布を用いたデータ補完スキームを採用。
• 尤度展開における補助変数をポリア・ガム分布 PG(b, ψ) で表現し、閉形式の条件付き事後分布を可能にする。
• 状態ベクトル βt がガウス的ランダムウォークまたはAR(1)過程に従う動的モデルに適用。
• ポリア・ガム補完によって生じる条件付き共役性を活用し、ブロック更新を用いたギブスサンプリングによる事後分布推論を実施。
• 特に小規模な b（例：少ない試行回数やカウント）に対して最適化されたポリア・ガム変量の効率的サンプリングアルゴリズムを実装。
• 高性能なMCMCサンプリングを実現するため、C言語ベースの実装を採用し、有効サンプルサイズと実行時間の正確なベンチマークが可能になった。

実験結果

リサーチクエスチョン

• RQ1 動的二項分布ロジスティック回帰において、ポリア・ガムのデータ補完手法は、既存のMCMC手法と比較して、有効サンプルサイズと計算時間の点でどのように異なるか？
• RQ2 動的ネガティブ・バイノミアル回帰において、試行回数や平均カウントサイズが増加するにつれて、ポリア・ガム補完の性能は劣化するか？
• RQ3 高い時間的相関や高次元の共変量下でのスケーリング特性はいかがなっているか？
• RQ4 メトロポリス・ハスティングス法やガウス混合モデルとの比較において、ポリア・ガム・アプローチはより優れた混合性能と収束性を達成できるか？
• RQ5 大規模な動的離散データモデルにおけるMCMC全体の効率性に、効率的なポリア・ガムサンプリングが与える影響は何か？

主な発見

• 1回の試行を伴う動的二項分布ロジスティック回帰において、ポリア・ガム法は中央値として有効サンプルサイズ比（ESR）1.30を達成し、離散的ガウス混合モデル（dRUM）を上回った。
• 20回の試行を伴う動的二項分布ロジスティック回帰において、相関が高い状況でもポリア・ガム法はESR 0.98を維持しており、大規模な試行回数下でも優れた性能を示した。
• 平均カウントが10の動的ネガティブ・バイノミアル回帰において、共変量相関が低い条件下でポリア・ガム法はESR 1.86を達成し、Frühwirth-Schnatterら（2009）の手法を著しく上回った。
• 平均カウントが100に増加すると、ESRは0.76に低下し、これは、より大きなカウントではポリア・ガムサンプリングが遅くなるため、性能が劣化することを示している。
• Migonら（2013）のメトロポリス・ハスティングス法は、前方フィルタリングにおける非線形方程式の高コストな解法により、全体的に最も性能が低く、ESRが0.8未満であった。
• ポリア・ガム法は、他の手法と比較して一貫して高い有効サンプルサイズを達成しており、特に低カウントの状況下で、1イテレーションあたりの効率性が優れていることが示唆された。