[論文レビュー] Bayesian Functional Generalized Additive Models with Sparsely Observed Covariates

Mathew W. McLean, Fabian Scheipl+3 more|arXiv (Cornell University)|May 15, 2013

Statistical Methods and Inference参考文献 42被引用数 5

ひとこと要約

本稿は、誤差を伴うスパースに観測された関数的予測子を伴うスカラー対関数回帰のためのベイジアン関数的一般加法モデル（FGAM）を導入する。関数的軌跡とモデルパラメータの同時推定をMCMCおよび変分ベイズを用いて行い、2段階的手法に比べて再構築された曲線の不確実性を適切に扱う。この手法は、スパースな縦断的データにおける柔軟で非線形な応答-予測子関係を可能にする。

ABSTRACT

The functional generalized additive model (FGAM) was recently proposed in McLean et al. (2013) as a more flexible alternative to the common functional linear model (FLM) for regressing a scalar on functional covariates. In this paper, we develop a Bayesian version of FGAM for the case of Gaussian errors with identity link function. Our approach allows the functional covariates to be sparsely observed and measured with error, whereas the estimation procedure of McLean et al. (2013) required that they be noiselessly observed on a regular grid. We consider both Monte Carlo and variational Bayes methods for fitting the FGAM with sparsely observed covariates. Due to the complicated form of the model posterior distribution and full conditional distributions, standard Monte Carlo and variational Bayes algorithms cannot be used. The strategies we use to handle the updating of parameters without closed-form full conditionals should be of independent interest to applied Bayesian statisticians working with nonconjugate models. Our numerical studies demonstrate the benefits of our algorithms over a two-step approach of first recovering the complete trajectories using standard techniques and then fitting a functional regression model. In a real data analysis, our methods are applied to forecasting closing price for items up for auction on the online auction website eBay.

研究の動機と目的

• 完全に観測され、ノイズのない関数的予測子を必要とする従来の関数的一般加法モデル（FGAM）の制限を解消すること。
• 予測子がスパースに観測され、測定誤差を伴う状況において、関数的軌跡とモデルパラメータを同時に推定するベイジアンフレームワークを構築すること。
• まず平滑化により曲線を再構築し、その後回帰モデルをフィットする2段階的手法の不正確さを是正すること。
• 完全な事後分布推論を通じて、推定された関数的予測子の不確実性を自然に扱える方法を提供すること。
• 関数的予測子が不規則に配置され、測定誤差を伴う現実的な縦断的データ設定にFGAMを拡張すること。

提案手法

• 関数的予測子を基底関数展開を伴うランダム効果として表現する線形混合モデルの定式化を用い、スパースな曲線の柔軟で滑らかな再構築を可能にする。
• 未知の2変数関数 F(X(t), t) をモデル化するため、ペナルティ付きスプラインをテンソル積Bスプラインを用いて実装し、スムージングパラメータは経験的ベイズにより推定する。
• 分散成分および精度パラメータのための階層的事前分布構造と、条件付き共役事前分布を採用し、完全なベイジアン推論を可能にする。
• 閉形式解が得られない非共役な周辺事後分布に対処するため、カスタムMCMCおよび変分ベイズアルゴリズムを開発する。
• 潜在変数の不確実な期待値を近似するために、変分ベイズスキームで確率的近似と数値積分を適用する。
• 平均場変分ベイズとギブスサンプリングを用いて、関数的係数、スムージングパラメータ、誤差分散など、すべてのパラメータの反復更新を実装する。

実験結果

リサーチクエスチョン

• RQ1 スパースで不規則的かつ誤差を伴う縦断的データの下で、関数的予測子の軌跡とモデルパララメータを同時に推定できるベイジアン半パラメトリックアプローチは可能か？
• RQ2 まず平滑化を行い、その後回帰を実行する2段階的手法と比較して、曲線と回帰パラメータの同時推定はどのように異なるか？
• RQ3 測定誤差とスパースなサンプリングは、関数的回帰モデルの精度と不確実性の定量化にどのような影響を及えるか？
• RQ4 MCMCと変分ベイズ手法は、この複雑で非共役なモデルにおいて、計算効率と事後分布近似の質の観点で、それぞれどのように性能を発揮するか？
• RQ5 提案手法は、線形性を仮定しない非線形で加法的な関係を柔軟にモデル化できるか、関数的予測子とスカラー応答の間で？

主な発見

• 提案されたベイジアンFGAMは、測定誤差とスパarsityが高くなる状況でも、2段階手法に比べて予測精度が顕著に優れている。
• MCMCおよび変分ベイズによる同時推定は、2段階手法が捉えられない再構築された関数的曲線の不確実性を適切に扱っている。
• 変分ベイズアルゴリズムは、MCMCと同等の事後分布近似品質を達成しつつ、計算効率に優れ、より大きなデータセットへのスケーラビリティを実現する。
• 限られた被験者あたりのデータでも、適切なスムージングを伴う未知の2変数関数 F(X(t), t) を効果的に推定でき、過剰適合を回避する。
• シミュレーションスタディでは、被験者1件あたり1〜2件の観測しかなくとも、関数的係数推定値のバイアスは低く、信頼区間のカバレッジは良好を維持する。
• eBayオークションデータへの応用では、入札行動の複雑で非線形な時間的パターンを効果的に捉え、標準的なFLMや2段階FGAM手法に比べて価格予測精度が向上した。