[論文レビュー] bamlss : A Lego Toolbox for Flexible Bayesian Regression (and Beyond)

Nikolaus Umlauf, Nadja Klein+2 more|arXiv (Cornell University)|Sep 25, 2019

Statistical Methods and Bayesian Inference参考文献 68被引用数 7

ひとこと要約

この論文では、さまざまな分布、リンク関数、回帰スプラインを 'Lego風' のアーキテクチャにより組み合わせることを可能にする、柔軟なベイジアン加法モデルをサポートするモジュラで拡張可能なフレームワークを提供するRパッケージbamlssを紹介する。主な貢献は、後部計算とモデルチェックを含む、完全なベイジアン推論を可能にする統一的かつスケーラブルなツールボックスであり、複雑で構造化されたモデリングを支援することにある。

ABSTRACT

Over the last decades, the challenges in applied regression and in predictive modeling have been changing considerably: (1) More flexible model specifications are needed as big(ger) data become available, facilitated by more powerful computing infrastructure. (2) Full probabilistic modeling rather than predicting just means or expectations is crucial in many applications. (3) Interest in Bayesian inference has been increasing both as an appealing framework for regularizing or penalizing model estimation as well as a natural alternative to classical frequentist inference. However, while there has been a lot of research in all three areas, also leading to associated software packages, a modular software implementation that allows to easily combine all three aspects has not yet been available. For filling this gap, the R package bamlss is introduced for Bayesian additive models for location, scale, and shape (and beyond). At the core of the package are algorithms for highly-efficient Bayesian estimation and inference that can be applied to generalized additive models (GAMs) or generalized additive models for location, scale, and shape (GAMLSS), also known as distributional regression. However, its building blocks are designed as "Lego bricks" encompassing various distributions (exponential family, Cox, joint models, ...), regression terms (linear, splines, random effects, tensor products, spatial fields, ...), and estimators (MCMC, backfitting, gradient boosting, lasso, ...). It is demonstrated how these can be easily recombined to make classical models more flexible or create new custom models for specific modeling challenges.

研究の動機と目的

• 多様なデータ構造の柔軟なモデリングを可能にする、モジュラで拡張可能なベイジアン回帰フレームワークの開発。
• 単一のモデリング環境内で、さまざまな指数型分布族、リンク関数、スムージング成分を組み合わせることを可能にする。
• 標準的な線形モデルや一般化線形モデルを超えた、スケーラブルで拡張可能なベイジアン加法モデルのインfraストラクチャを提供する。
• 構造化された加法予測子、ランダム効果、空間的または時系列的成分などの高度なモデリング機能をサポートする。
• 既存のRベイジアンツールとの統合を通じて、後部計算、モデルチェック、可視化を容易にする。

提案手法

• 各コンポONENT（分布、リンク関数、スムージング項）を独立して選択・組み合わせられるモジュラアーキテクチャに基づく。
• 線形予測子の柔軟なパrameter化により、スプライン、ランダム効果、空間項などの複数のコンポーネントを含む構造化された加法予測子を可能にする。
• 'distributions'および'family'関数を用いることで、広範な指数型分布族とカスタム分布をサポートする。
• 後部推論はMCMCサンプリングを用い、'MCMC'および'stan'バックエンドを通じて効率的な計算が可能であり、Stanによるハミルトニアン・モンテカルロも利用可能。
• 一貫したインターフェースを備えたプラグインアーキテクチャにより、ユーザーがカスタムコンポーネントを定義可能。
• 標準化された後部予測チェックおよび残差分析を通じて、モデルチェックと診断をサポート。

実験結果

リサーチクエスチョン

• RQ1 多様なデータタイプや構造に対応する、柔軟なベイジアン加法モデルをサポートするモジュラで拡張可能なフレームワークを設計するにはどうすればよいか？
• RQ2 単一のモデリング環境内で、異なる分布、リンク関数、スムージングコンポーネントをシームレスに統合するためのアーキテクチャ的原則は何か？
• RQ3 モノリシックなベイジアンモデリングツールと比較して、Lego風のコンポーネントアーキテクチャは、使いやすさと拡張性をどのように向上させるか？
• RQ4 空間的・時系列的およびランダム効果を含む、複雑な構造化された加法予測子を、どの程度までフレームワークがサポートできるか？
• RQ5 実世界の応用において、このフレームワークのパフォーマンスとスケーラビリティは、既存のベイジアン回帰ツールと比べてどの程度か？

主な発見

• bamlssパッケージは、分布、リンク関数、スムージングコンポーネントを合成的に組み合わせることを可能にする、モジュラで拡張可能なフレームワークを効果的に実装している。
• フレームワークは、位置・スケール・形状のための一般化加法モデル（GAMLSS）や構造化された加法回帰モデルを含む、広範なモデルをサポートする。
• MCMCおよびハミルトニアン・モンテカルロを用いた後部推論は、ベンチマーク例において良好な収束性と混合性を示す。
• 一貫性があり再現性のある結果を得られるように、空間効果、ランダム効果、分散の変動を伴う複雑なデータ構造のモデリングが可能。
• モジュラ設計により、コード再利用性と拡張性が顕著に向上し、開発者はコア機能を変更せずに新しいコンポーネントを実装可能。
• 高次元または非線形予測子を伴う実世界のデータセットに対しても、このフレームワークは優れたパフォーマンスとスケーラビリティを示している。