[論文レビュー] Log-Linear Bayesian Additive Regression Trees for Categorical and Count Responses

Jared S. Murray|arXiv (Cornell University)|Jan 5, 2017

Bayesian Methods and Mixture Models参考文献 23被引用数 24

ひとこと要約

この論文は、カテゴリカルおよびカウント応答変数を扱うために、ベイジアン加法的回帰木（BART）を対数線形モデルに拡張する。多項ロジスティック回帰やゼロ過剰分散カウントデータを含む。新しいデータ補完戦略とキャリブレーションされた事前分布を開発することで、ガウス尤度に限定されない効率的なMCMCサンプリングを可能にし、非ガウス設定における柔軟性と頑健性の向上を示している。

ABSTRACT

We introduce Bayesian additive regression trees (BART) for log-linear models including multinomial logistic regression and count regression with zero-inflation and overdispersion. BART has been applied to nonparametric mean regression and binary classification problems in a range of settings. However, existing applications of BART have been limited to models for Gaussian data, either observed or latent. This is primarily because efficient MCMC algorithms are available for Gaussian likelihoods. But while many useful models are naturally cast in terms of latent Gaussian variables, many others are not -- including models considered in this paper. We develop new data augmentation strategies and carefully specified prior distributions for these new models. Like the original BART prior, the new prior distributions are carefully constructed and calibrated to be flexible while guarding against overfitting. Together the new priors and data augmentation schemes allow us to implement an efficient MCMC sampler outside the context of Gaussian models. The utility of these new methods is illustrated with examples and an application to a previously published dataset.

研究の動機と目的

• ガウス尤度に限定されないBARTの拡張を、カテゴリカルおよびカウント応答変数を扱えるようにすること。
• 潜在ガウス仮定が適用されない非ガウスモデルにおける効率的なMCMCサンプリング戦略の開発。
• 非パラメトリック回帰の能力を多項ロジスティック回帰およびゼロ過剰分散カウントモデルに拡張する。
• 柔軟性と正則化の両立を図る事前分布の構築。
• 実データ応用と既存手法との比較を通じて、手法の有効性を示すこと。

提案手法

• 多項分布およびゼロ過剰・分散を伴うカウント応答を含む、対数線形モデルに特化した新しいデータ補完スキームの導入。
• 木構造およびノードパラメータに適したキャリブレーションされた事前分布の設計。柔軟性を保ちつつ過学習を防止する。
• 新しい事前分布をガウス尤度に限定されない尤度関数に組み込むことで、BARTフレームワークを非ガウス尤度に適応。
• 補完データから導かれる条件付き後確率分布を用いて、木構造およびパラメータを反復的に更新。
• 高次元設定における縮小と安定性を確保するため、木パラメータに階層的事前分布構造を導入。
• 新しい補完および事前分布スキームを統合した効率的なMCMCサンプラーの実装。

実験結果

リサーチクエスチョン

• RQ1 BARTは多項ロジスティック回帰やカウント回帰といった非ガウス応答モデルに拡張可能か？
• RQ2 非ガウスBARTモデルにおける効率的なMCMCサンプリングを可能にするために、どのようなデータ補完および事前分布指定戦略が必要か？
• RQ3 新しい事前分布は、柔軟性を保ちつつ、対数線形モデルにおける過学習をどのように防止するか？
• RQ4 拡張されたBARTモデルの性能は、既存手法と比較してどのように異なるか？
• RQ5 ゼロ過剰や分散の過剰といった複雑なデータ特徴を、この手法は処理できるか？

主な発見

• 提案手法はBARTを対数線形モデルに成功して拡張し、カテゴリカルおよびカウント応答の非パラメトリックモデリングを可能にした。
• 新しいデータ補完および事前分布により、従来のBART手法が適用できない非ガウス設定でも、効率的なMCMCサンプリングが実現した。
• キャリブレーションされた事前分布は、多様な応答タイプにおいて過学習を効果的に制御しながらも、モデルの柔軟性を維持した。
• 以前に発表されたデータセットにおいて、提案手法は優れたフィットと予測精度を示し、複雑な応答分布に対しても優れた性能を発揮した。
• ゼロ過剰および分散過剰を伴うカウントデータのモデリングが可能であり、これは現実世界の応用で一般的な特徴である。
• 尤度モデルの複雑さにもかかわらず、計算の実行可能性とスケーラビリティを維持した。