[論文レビュー] qgam: Bayesian non-parametric quantile regression modelling in R

Matteo Fasiolo, Simon N. Wood+3 more|arXiv (Cornell University)|Jul 7, 2020

Statistical Methods and Inference参考文献 23被引用数 6

ひとこと要約

この論文は、一般化加法モデル（GAMs）を用いた高速でキャリブレーションされたベイズ的分位数回帰を可能にする、qgam Rパッケージを紹介している。これにより、応答変数のパラメトリック分布を仮定せずに条件付き分位数の非パラメトリック推定が可能となる。ピンバラ損失関数を滑らかにし、情報カーネル学習（IKL）を用いたキャリブレーションされたベイズ推論によるチューニングを組み合わせることで、qgamは正確な分位数推定と適切にキャリブレーションされた信用区間を実現し、頻度的カバレッジと計算効率の両面でMCMCやブースティング手法を上回る性能を発揮する。

ABSTRACT

Generalized additive models (GAMs) are flexible non-linear regression models, which can be fitted efficiently using the approximate Bayesian methods provided by the mgcv R package. While the GAM methods provided by mgcv are based on the assumption that the response distribution is modelled parametrically, here we discuss more flexible methods that do not entail any parametric assumption. In particular, this article introduces the qgam package, which is an extension of mgcv providing fast calibrated Bayesian methods for fitting quantile GAMs (QGAMs) in R. QGAMs are based on a smooth version of the pinball loss of Koenker (2005), rather than on a likelihood function, hence jointly achieving satisfactory accuracy of the quantile point estimates and coverage of the corresponding credible intervals requires adopting the specialized Bayesian fitting framework of Fasiolo, Wood, Zaffran, Nedellec, and Goude (2020b). Here we detail how this framework is implemented in qgam and we provide examples illustrating how the package should be used in practice.

研究の動機と目的

• 応答変数の分布に対してパラメトリックな仮定をしないRにおける分位数加法モデル（QGAMs）のスケーラブルで高速な適合手法の開発。
• 特に末端分位数において、ベイズ的分位数回帰における信用区間の適切な頻度的カバレッジを達成する課題の解決。
• 滑らかな損失関数と効率的な最適化を用いた、qgamのための高速でキャリブレーションされたベイズ推論を可能にする新フレームワークをmgcvパッケージに拡張すること。
• 研究者がマージナル尤度と実証的ベイズ法を用いて、QGAMsの適合、可視化、検証を可能にする実用的なRツールの提供。

提案手法

• 標準の尤度ベースのアプローチに代わり、最適化を効率化するためにピンバラ損失関数の滑らかにした版を用いる。
• 情報カーネル学習（IKL）フレームワークを用いたキャリブレーションされたベイズ推論により、最適な学習率を選択し、信用区間のほぼ名目水準のカバレッジを確保する。
• 回帰係数は滑らかな損失関数上の最大後確信度（MAP）最適化により推定され、ハイパーパrameterはマージナル尤度を用いた実証的ベイズ法により選択される。
• 滑らか項の構築に既存のmgcvツール（循環的、適応的、テンソル積スプラインなど）を活用し、柔軟なモデル指定を可能にする。
• MCMCを回避する直接最適化を用いることで、従来のベイズ的またはブースティング的手法と比較して、計算速度を顕著に向上させる。
• モデル適合は、mgcvと統合され、モデルチェック、予測、診断ツールをサポートする新しいRパッケージqgamとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 応答分布にパラメトリックな仮定をしない高速でキャリブレーションされたベイズ的フレームワークを、分位数加法モデルに適用可能か？
• RQ2 ベイズ的分位数回帰における信用区間が、特に極端な分位数において、適切な頻度的カバレッジを達成するにはどうすればよいか？
• RQ3 ベイズ的分位数回帰の計算負荷を、正確性とキャリブレーションを維持したまま軽減できるか？
• RQ4 qgamの性能は、MCMC、ブースティング、またはquantregといった既存手法と比較して、推定の正確性と区間カバレッジの面でどのように異なるか？

主な発見

• qgamパッケージは、極端な分位数を含め、すべての分位数でほぼ名目水準の信用区間カバレッジを達成する、高速でキャリブレーションされたベイズ的フレームワークを効果的に実装した。
• 特に末端分位数において、MCMCベースの手法がしばしばカバレッジを欠くのに対し、qgamは計算速度と区間カバレッジの両面でMCMCを上回った。
• 実世界の電力需要予測の事例では、関数的QGAMモデル（mqgamで適合）が、テストセットにおいて標準的QGAMよりも低いピンバラ損失を達成しており、特に極端な分位数（0.1および0.9）で顕著であった。
• 温度効果の有効自由度（edf）は、最大可能値（k’）に近づいており、中央分位数のモデル適合を改善するためにkを20に引き上げることが有効である可能性を示唆している。
• 学習率のIKL選択によるキャリブレーションされたベイズ的フレームワークにより、信用区間の適切なカバレッジが維持され、標準的な疑似尤度アプローチで見られる低カバレッジ問題が回避された。
• mgcvとの統合により、循環的、適応的、テンソル積スプラインなど多様な滑らか項をサポートし、複雑な非線形関係の柔軟なモデリングを可能にした。