[论文解读] A New Family of Error Distributions for Bayesian Quantile Regression

Yifei Yan, Athanasios Kottas|arXiv (Cornell University)|Jan 20, 2017

Statistical Methods and Inference参考文献 30被引用 11

一句话总结

本文提出了一种基于结构化正态分布混合的新型灵活误差分布族，用于贝叶斯分位数回归，可独立控制众数、偏度与尾部行为，克服了偏斜拉普拉斯（AL）分布的刚性限制。该模型支持高效的MCMC推断，并在正则化与Tobit分位数回归中表现出色，尤其在极端分位数下表现更优。

ABSTRACT

We propose a new family of error distributions for model-based quantile regression, which is constructed through a structured mixture of normal distributions. The construction enables fixing specific percentiles of the distribution while, at the same time, allowing for varying mode, skewness and tail behavior. It thus overcomes the severe limitation of the asymmetric Laplace distribution -- the most commonly used error model for parametric quantile regression -- for which the skewness of the error density is fully specified when a particular percentile is fixed. We develop a Bayesian formulation for the proposed quantile regression model, including conditional lasso regularized quantile regression based on a hierarchical Laplace prior for the regression coefficients, and a Tobit quantile regression model. Posterior inference is implemented via Markov Chain Monte Carlo methods. The flexibility of the new model relative to the asymmetric Laplace distribution is studied through relevant model properties, and through a simulation experiment to compare the two error distributions in regularized quantile regression. Moreover, model performance in linear quantile regression, regularized quantile regression, and Tobit quantile regression is illustrated with data examples that have been previously considered in the literature.

研究动机与目标

• 为解决在指定百分位数时，分位数回归中偏斜拉普拉斯（AL）分布固定偏度与众数所带来的局限性。
• 开发一种参数化误差分布，可在以百分位数为参数化方式下，灵活建模偏度、众数与尾部行为。
• 通过分层混合表示法，实现分位数回归中实用的贝叶斯推断（MCMC）。
• 在正则化分位数回归与Tobit分位数回归中提升模型性能，尤其在极端分位数下。
• 提供一种灵活的参数化替代方案以替代AL分布，支持在复杂数据结构中实现更丰富的建模。

提出的方法

• 通过引入一个形状参数控制偏度与尾部行为的分层正态分布混合，构建新的误差分布。
• 将新分布嵌入贝叶斯分位数回归框架中，利用MCMC实现完整的后验推断。
• 通过在回归系数上施加分层拉普拉斯先验，实现条件lasso正则化，以实现变量选择。
• 将模型扩展至Tobit分位数回归，以处理右删失的响应数据。
• 采用一种混合表示法，该方法推广了AL分布，当形状参数固定时，退化为AL分布。
• 使用MCMC抽样进行后验计算，包括从分层结构中推导出的完整条件分布。

实验结果

研究问题

• RQ1 能否开发一种参数化误差分布，使分位数回归中对众数、偏度与尾部行为的控制实现独立？
• RQ2 在正则化分位数回归中，新分布与偏斜拉普拉斯分布相比，在灵活性与模型拟合方面表现如何？
• RQ3 新模型在右删失数据的Tobit分位数回归中，是否能提升推断的准确性与稳健性？
• RQ4 新分布是否能比AL分布更好地捕捉极端分位数（如第5与第95百分位数）？
• RQ5 在实际应用中（如劳动力供给建模），误差分布的选择对实际结论有何影响？

主要发现

• 所提出的广义偏斜拉普拉斯（GAL）分布可在固定指定百分位数的同时，灵活控制偏度与尾部行为，而AL分布不具备此能力。
• 在劳动力供给数据中，GAL模型下形状参数γ的95%后验可信区间在所有情况下均不包含0，表明其灵活性显著超越AL分布。
• 在p₀ = 0.05、0.50与0.95下，GAL模型的BIC值始终低于AL模型，且在极端分位数下改进最为显著。
• 在GAL模型下，对于有三个年幼儿童的女性，其劳动力供给第95百分位数为正的后验概率仅为0.19，而AL模型下该概率为0.97。
• GAL模型下的后验密度对高阶劳动力供给的估计更为保守，尤其在年幼儿童数量增加时，反映出更真实的尾部行为。
• 模拟与实际数据示例均表明，误差分布的选择显著影响推断结果，尤其在极端分位数下，验证了采用比AL分布更灵活的参数化替代方案的必要性。