[論文レビュー] Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines

Daniel Sabanés Bové, Leonhard Held+1 more|arXiv (Cornell University)|Aug 17, 2011

Bayesian Methods and Mixture Models参考文献 61被引用数 4

ひとこと要約

本稿では、ペナルティスプラインを用いた一般化線形加法モデルにおける変数選択および関数選択のための客観的ベイズ的手法を提案する。g-ハイパーパriorの連続的混合を用いることで、モデルパラメータに対してg-ハイパーパriorの連続的混合を適用し、モデル間の多重性補正を施した事前分布を組み合わせることで、計算効率性とモデル選択の一貫性を維持したまま、共変数および滑らか変換の自動選択が可能となる。

ABSTRACT

We propose an objective Bayesian approach to the selection of covariates and their penalised splines transformations in generalised additive models. Specification of a reasonable default prior for the model parameters and combination with a multiplicity-correction prior for the models themselves is crucial for this task. Here we use well-studied and well-behaved continuous mixtures of g-priors as default priors. We introduce the methodology in the normal model and extend it to non-normal exponential families. A simulation study and an application from the literature illustrate the proposed approach. An efficient implementation is available in the R-package "hypergsplines".

研究の動機と目的

• 一般化線形加法モデル（GAMs）における同時変数選択および関数選択のための客観的ベイズ枠組みの構築を目的とする。
• ペナルティスプラインを統合することで、GAMsにおけるモデル不確実性に対処し、縮小とモデル平均化を支援する客観的事前分布を導入する。
• よく知られた連続的g-ハイパーパrior（ハイパーパラメータgを確率変数として扱う）をデフォルト事前分布として用いることで、一貫性のあるモデル選択と信頼性の高い推論を保証する。
• 従来線形モデルに適用されてきたハイパーパラメータg-ハイパーパriorの応用を、非正規分布に属する指数型分布族およびペナルティスプラインを用いた半パラメトリックモデルへと拡張する。
• n×n共分散行列の高価な因子分解を回避するため、精度行列の構造と低次元のコレスキー分解を活用することで、計算コストを抑えた効率的実装を提供する。

提案手法

• モデル固有のパラメータに対して、g-ハイパーパriorの連続的混合をデフォルト事前分布として採用し、gをハイパーパラメータによって確率変数化することで、情報のパラドックスを解消する。
• モデル間で共有されるパラメータには非情報的不適切事前分布を、モデル固有の係数には適切なハイパーパラメータg-事前分布を用いる。
• 変形効果をペナルティ付きスプラインでモデル化し、縮小を実現するため、スプライン係数に分散がρjに比例する正規事前分布を適用する。
• ハイパーパラメータg-事前分布から導かれる閉形式の周辺尤度を用いて、一貫性のあるモデル選択と予測を実現する。
• 精度行列の恒等式：V_d^{-1} = I_n - Z_d M_d^{-1} Z_d^T を用いて効率的な計算を実現する。ここで M_d = Z_d^T Z_d + D_d^{-1} である。このアプローチにより、計算複雑度が低減される。
• n×n共分散行列ではなく、より小さいJK×JK行列M_dに対してLUおよびコレスキー分解を適用することで、スケーラビリティが著しく向上する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、一般化線形加法モデルにおける同時変数選択および関数選択に、客観的ベイズ手法を拡張できるか？
• RQ2 g-ハイパーパriorの混合が、ペナルティスプラインを用いたGAMsにおいて、計算可能性を保ちつつ一貫性があり信頼性の高いモデル選択を可能にするか？
• RQ3 特にLiangら（2008）の定式化を用いたハイパーパラメータg-ハイパーパriorが、非ガウス型指数型分布族におけるモデル選択性能に与える影響は何か？
• RQ4 効率的な行列代数と精度行列表現を用いることで、高次元GAMsにおける計算ボトルネックをどのように軽減できるか？
• RQ5 シミュレーションおよび実世界の設定において、本手法が従来手法をどの程度上回るか、変数選択の正確性およびモデル適合度の観点から評価する。

主な発見

• well-studiedなハイパーパラメータg-ハイパーパriorを用いることで、一貫性のあるモデル選択とモデル平均化予測が達成される。これは、ガウス線形モデルにおいて良好な性能を示すことが知られている。
• 本手法により、ペナルティスプラインを用いた一般化線形加法モデルへのハイパーパラメータg-ハイパーパriorの応用が成功裏に拡張され、半パラメトリック設定における客観的ベイズ推論が可能となる。
• n×n共分散行列の完全なコレスキー分解を回避することで、計算効率が著しく向上し、代わりにより小さいJK×JK行列M_dを用いた処理が可能となる。
• d_j = 0 により共変数の選択（変数選択）、d_j = K により非線形効果の選択（関数形選択）が自動で実現され、d_j ∈ {0,1,…,K} はスプライン基底の次元を表す。
• シミュレーション研究および実世界の応用を通じて、関連する共変数および滑らか効果を正しく同定可能であり、過剰適合の制御も可能であることが示された。
• 実用的実装を可能にする効率的なRパッケージ 'hypergsplines' が提供されており、再現可能でスケーラブルなベイズGAM選択を支援する。