[論文レビュー] On Bayesian quantile regression curve fitting via auxiliary variables

J.-L. Dortet-Bernadet, Yanan Fan|arXiv (Cornell University)|Feb 27, 2012

Statistical Methods and Inference参考文献 33被引用数 5

ひとこと要約

本稿では、未知のノット数および位置を持つ補助変数およびスプラインを用いた完全自動化されたベイジアン分位数回帰手法を提案する。スケール混合正規分布の表現と効率的なギブス・メトロポリス・ハスティングス・サンプリングを活用することで、逆遷移MCMCや尤度近似を必要とせず、ロバストで交差しない分位数曲線のフィッティングが可能となり、後処理ステップにより分位数間の単調性が保証される。

ABSTRACT

Quantile regression has received increased attention in the statistics community in recent years. This article adapts an auxiliary variable method, commonly used in Bayesian variable selection for mean regression models, to the fitting of quantile regression curves. We focus on the fitting of regression splines, with unknown number and location of knots. We provide an efficient algorithm with Metropolis-Hastings updates whose tuning is fully automated. The method is tested on simulated and real examples and its extension to additive models is described. Finally we propose a simple postprocessing procedure to deal with the problem of the crossing of multiple separately estimated quantile curves.

研究の動機と目的

• スプラインのノット数およびノット位置が未知である場合の滑らかな分位数回帰曲線のフィッティングという課題に、ベイジアン枠組みを用いて対処する。
• 非パラメトリックスプラインを用いた分位数回帰において、逆遷移MCMCや尤度近似の限界を補助変数アプローチによって克服する。
• 自己チューニングされたメトロポリス・ハスティングス提案分散を備えた完全自動化されたMCMCアルゴリズムを開発し、計算効率と使いやすさを向上させる。
• 分位数間の単調性制約に基づく再重み付け手順を用いて、非交差分位数曲線を保証する。
• 複数の予測子を伴う多変量分位数回帰のための加法的モデルへの自然な拡張を実現する。

提案手法

• 非対称ラプラス分布の尤度を再パラメトリゼーションする補助変数表現を用い、共役事前分布を可能とし、回帰および分散パラメータの解析的マージナル化を実現する。
• ノット数およびノット位置が未知の回帰スプラインを、切り捨てべき乗項を含む基底関数で表現する。
• 条件付きにパラメータを更新するギブス・メトロポリス・ハスティングス・サンプリングを実装し、自己チューニングアルゴリズムを用いて提案分散を自動でチューニングする。
• 非対称ラプラス分布のスケール混合正規分布表現を活用し、効率的な事後分布計算を促進する。
• 分位数 $ p_1 < p_2 $ に対して $ f_{p_1}(x) < f_{p_2}(x) $ を強制するインジケータ関数を用いた再重み付け手順を適用し、MCMCサンプルを別々の分位数フィットから得たものに対して後処理することで、非交差曲線を効果的に確保する。
• 別々の分位数モデルからのMCMCサンプルを統合し、重要度サンプリングを用いて分位数曲線の制約付き事後期待値を推定する。

実験結果

リサーチクエスチョン

• RQ1 スプラインのノット数およびノット位置が未知である場合、どのように効率的にベイジアン分位数回帰を実行できるか？
• RQ2 補助変数アプローチにより、非パラメトリックスプラインを伴う分位数回帰において、複雑な逆遷移MCMCを回避できるか？
• RQ3 分位数回帰において、完全自動化された形でメトロポリス・ハスティングス提案のチューニングをどのように達成できるか？
• RQ4 推定された分位数曲線間の非交差性を保証するための効果的な後処理戦略とは何か？
• RQ5 提案手法は、複数の予測子を伴う加法的分位数回帰モデルに自然に拡張可能か？

主な発見

• 提案された補助変数アプローチにより、周辺尤度近似や逆遷移MCMCを必要とせず、ベイジアン分位数回帰における効率的な事後分布計算が可能となった。
• 自己チューニングされた提案分散を備えた完全自動化されたMCMCサンプラーは、標準的なMCMCアプローチと比較して収束性と使いやすさが顕著に向上した。
• 本手法は、ノット数およびノット位置が未知の滑らかな分位数曲線のフィッティングを、シミュレートデータおよび実データの両方で成功裏に実現した。
• 後処理手順により、単調性制約に基づくMCMCサンプルの再重み付けが効果的に行われ、計算コストの増加は最小限に抑えられた。
• 本手法は加法的モデルへ容易に拡張可能であり、複数の共変量を伴う柔軟な非パラメトリック分位数回帰を可能にした。
• 式 (16) に示される制約付き推定量は信頼性の高い非交差分位数曲線を提供するが、制約によって除外されるサンプルが多すぎると性能が低下するため、そのような状況ではより多くのMCMCサンプルを必要とする。