[論文レビュー] spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R

Fabian Scheipl|arXiv (Cornell University)|May 26, 2011

Statistical Methods and Bayesian Inference被引用数 8

ひとこと要約

この論文は、ガウス分布、ベルヌーイ分布、ポアソン分布の応答変数を対象とした一般化線形加法混合モデル（GAMMs）におけるベイズ的変数選択、モデル選択、正則化を可能にするRパッケージ spikeSlabGAM を紹介する。本手法は、係数群に新しいスパイクアンドスリーブ事前分布を用い、関連する共変量の選択、その効果が線形かスムーズかの特定、関数形の推定を同時に実行し、数千件の観察値と数百の係数を含む高次元設定においても安定した推論を達成する。

ABSTRACT

The R package spikeSlabGAM implements Bayesian variable selection, model choice, and regularized estimation in (geo-)additive mixed models for Gaussian, binomial, and Poisson responses. Its purpose is to (1) choose an appropriate subset of potential covariates and their interactions, (2) to determine whether linear or more flexible functional forms are required to model the effects of the respective covariates, and (3) to estimate their shapes. Selection and regularization of the model terms is based on a novel spike-and-slab-type prior on coefficient groups associated with parametric and semi-parametric effects.

研究の動機と目的

• 高次元一般化線形加法混合モデルにおける関連する共変量の選択と適切な関数形（線形対スムーズ）の特定という課題に取り組むこと。
• 線形項、スムーズ項、ランダム効果、空間効果を含む多様なモデル項において、統合的な推定、モデル選択、正則化を可能にする完全なベイズフレームワークを構築すること。
• スパイクアンドスリーブ事前分布を個々の係数から、モデル項に関連する係数のブロックへと拡張し、項レベルでの選択を可能にすること。
• モデル平均化、可視化、非ガウス応答変数の予測をサポートするスケーラブルでオープンソースのR実装を提供すること。
• 統一されたベイズフレームワーク内で、線形効果と非線形効果を区別しながら、変数選択と正則化を実行すること。

提案手法

• モデル項に関連する係数群にスパイクアンドスリーブ事前分布構造を適用し、スパイク成分はモデルからの除外、スリーブ成分は柔軟な推定を伴う包含を表す。
• 回帰係数のハイパーバリアンスに二峰性事前分布を適用し、2成分混合モデルを形成することで、各モデル項の周辺後確率的包含確率を導出する。
• Pスプラインを用いたスムーズ項推定と、線形項、スムーズ項、ランダム効果、空間効果の正則化推定に条件付きガウス事前分布を組み合わせた、マルコフ連鎖モンテカルロ（MCMC）サンプリングを実装する。
• スパース性を強化するためのP-IWLS（ペナルティ付き反復加重最小二乗法）MCMCアルゴリズムを採用し、スプライシングと複数の並列チェーンを用いて収束性と安定性を向上させる。
• 標準的なRの式構文を用いたモデル指定をサポートし、主効果、相互作用、およびイントリニックガウス・マルコフ確率場（IGMRF）のような複雑な項の柔軟な組み込みを可能にする。
• 項の重要性の指標として周辺後確率的包含確率（P(gamma=1)）を用い、有意性の閾値（例：>0.25、>0.5、>0.9）を設定して解釈を支援する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスリーブ事前分布を、モデル項に関連する係数のブロックに効果的に拡張できるか、GAMMsにおける統合的変数選択と関数形選択を可能にするか？
• RQ2 提案されたベイズフレームワークは、非ガウス応答変数モデルにおいて、関連する共変量の選択と線形効果・スムーズ効果の区別にどの程度効果的に機能するか？
• RQ3 モデル平均化と正則化は、標準的なGAMMアプローチと比較して予測性能にどのような影響を与えるか？
• RQ4 大規模なデータセットと高次元の係数空間を想定した場合、計算効率と収束安定性の観点から、この手法はどの程度スケーラブルか？
• RQ5 階層的制約（例：主効果が除外されていれば相互作用を除外する）を強制しながら、複雑な相互作用を信頼性高く検出できるか？

主な発見

• Pima Indian Diabetesデータセットにおいて、パッケージは主要な予測変数を的確に同定した。グルコース（1.000）とマス（1.000）の後確率的包含確率はいずれも1.000であり、それらが線形効果として含まれる強力な証拠を示している。
• 年齢とマスのスムーズ効果については、それぞれ0.996および0.973の高い包含確率を示し、糖尿病リスクとの強い非線形関係を示唆している。
• テストデータにおける予測デビアンスは177.85であり、ベースラインモデル（180.51）よりもわずかに優れており、情報に基づいた変数選択と関数形選択による予測精度の向上を示している。
• 妊娠回数や血圧といった重要度の低い項の周辺後確率的包含確率は低く（0.069および0.117）、それらがモデルに有意に寄与しない可能性が高いことを示している。
• 複数の並列MCMCチェーンを用いることで、多峰性を示す後確率分布に対しても、数千件の観察値と数百の係数を含む高次元設定において安定した推論が可能であることが示された。
• 実装はガウス分布、ベルヌーイ分布、ポアソン分布、および区分的指数分布モデルを含む広範なモデルクラスをカバーしており、多様な回帰問題に適している。