[論文レビュー] gamboostLSS: An R Package for Model Building and Variable Selection in the GAMLSS Framework

Benjamin Hofner, Andreas Mayr+1 more|arXiv (Cornell University)|Jul 7, 2014

Land Use and Ecosystem Services被引用数 12

ひとこと要約

この論文は、一般化線形混合モデルの位置・スケール・形状（GAMLSS）のための成分別ブースティングを実装するRパッケージgamboostLSSを紹介している。この手法により、平均や分散などの複数の分布パラメータを同時にモデル化でき、自動変数選択とモデルフィッティングが可能になる。特に、従来のAICに基づく手法と比較して、高次元設定下での安定性とスケーラビリティが向上しており、インドの乳児における成長遅延の分析を通じて実証されている。

ABSTRACT

Generalized additive models for location, scale and shape (GAMLSS) are a flexible class of regression models that allow to model multiple parameters of a distribution function, such as the mean and the standard deviation, simultaneously. With the R package gamboostLSS, we provide a boosting method to fit these models. Variable selection and model choice are naturally available within this regularized regression framework. To introduce and illustrate the R package gamboostLSS and its infrastructure, we use a data set on stunted growth in India. In addition to the specification and application of the model itself, we present a variety of convenience functions, including methods for tuning parameter selection, prediction and visualization of results. The package gamboostLSS is available from CRAN (http://cran.r-project.org/package=gamboostLSS).

研究の動機と目的

• GAMLSSにおけるAICに基づく変数選択の不安定性、特に複数の分布パラメータに対して異なる予測子を選択する場合の問題を解決すること。
• 従来のバックフィッティング手法が失敗するか計算的に困難な高次元データ設定において、GAMLSSをスケーラブルかつ安定的にフィットするフレームワークを提供すること。
• 変数選択、モデル選択、正則化を統合的なブースティングフレームワーク内で自然に統合すること。
• チューニング、予測、可視化のための包括的なツールを備えたユーザーフrndlyなRパッケージを提供すること。
• インドの乳児における成長遅延の事例研究を通じて、実世界の応用を示し、スコアの平均とばらつきの両方をモデル化すること。

提案手法

• 対数尤度を最適化するように、位置μ、スケールσ、形状などの複数のGAMLSSパラメータのための加法的予測子を、成分別勾配ブースティングで反復的にフィットする。
• 正則化のためのスケーリング（ステップサイズν）と早期停止（mstop）を用いたブースティングアルゴリズムを採用し、モデルの複雑さを制御し、過学習を防ぐ。
• 名前付きリストを用いたフォーミュラインターフェースにより、各分布パラメータごとに別々の候補モデルを指定できる柔軟なモデル指定をサポートする。
• mboostパッケージのインfrastrucureと統合されており、線形、スムーズ、ランダム効果などの異なる予測子タイプに対応するさまざまなベースラーナーの使用が可能になる。
• 各分布パラメータごとに異なるハイパーパramータ（例：mstop, nu）を指定するベクトル化または名前付きリストのアプローチを実装し、パラメータごとの最適なブースティング行動を可能にする。
• チューニングパラメータの選択、予測、結果の可視化（効果プロットや予測区間を含む）のための組み込み関数を提供する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングベースの推定は、異なる分布パラメータに異なる予測子が関連する場合に、AICベースの手法よりも安定した変数選択を実現できるか？
• RQ2 従来のGAMLSSフィッティングが計算的に不可能になる高次元設定下で、gamboostLSSフレームワークの性能はいかがなものか？
• RQ3 gamboostLSSは、応答変数（例：成長遅延スコア）の平均と分散の両方を効果的にモデル化しながら、各パラメータに対して関連する予測子を選択できるか？
• RQ4 gamboostLSSは、スムーズ効果、空間的効果、ランダム効果といった複雑な効果を統合的なGAMLSSモデリングフレームワーク内でサポートできるか？
• RQ5 モデルの正確性、変数選択の一貫性、計算効率の観点から、gamboostLSSはgamlssパッケージと比較してどの程度優れているか？

主な発見

• gamboostLSSパッケージは、GAMLSSにおけるブースティングを成功裏に実装しており、平均μやスケールσなどの複数の分布パラメータを同時にモデル化し、自動変数選択を可能にしている。
• 異なる分布パラメータに異なる予測子が関連する場合に、AICベースの手法と比較して変数選択の安定性が向上している。
• 柔軟なモデル指定が可能で、各分布パラメータごとに別々のフォーミュラを指定でき、各パラメータごとに異なるハイパーパラメータ（例：mstop, nu）を指定できる。
• インドの乳児における成長遅延の事例研究では、gamboostLSSは期待される成長遅延スコア（μ）とそのばらつき（σ）の両方を成功裏にモデル化し、個別化された予測区間を提供した。
• パッケージはチューニングパラメータの選択、予測、可視化のための包括的なツールセットを提供しており、実務研究者による利用を容易にする。
• gamboostLSSアルゴリズムは計算的に効率的で、高次元データにスケーラブルであり、このような設定下での従来のガウス＝ニュートン型バックフィッティングの制限を克服している。