[论文解读] D-vine quantile regression with discrete variables

Niklas Schallhorn, Daniel Kraus+2 more|arXiv (Cornell University)|May 23, 2017

Statistical Methods and Inference参考文献 18被引用 17

一句话总结

本文提出了两种针对混合离散-连续数据的新型D-藤分位回归方法：一种是通过改进参数化D-藤公式以处理离散性，另一种是通过连续卷积结合非参数核密度估计。非参数方法在建模非线性、非单调关系方面优于现有方法，尤其在预测不同天气和时间条件下的自行车租赁需求时表现更优。

ABSTRACT

Quantile regression, the prediction of conditional quantiles, finds applications in various fields. Often, some or all of the variables are discrete. The authors propose two new quantile regression approaches to handle such mixed discrete-continuous data. Both of them generalize the continuous D-vine quantile regression, where the dependence between the response and the covariates is modeled by a parametric D-vine. D-vine quantile regression provides very flexible models, that enable accurate and fast predictions. Moreover, it automatically takes care of major issues of classical quantile regression, such as quantile crossing and interactions between the covariates. The first approach keeps the parametric estimation of the D-vines, but modifies the formulas to account for the discreteness. The second approach estimates the D-vine using continuous convolution to make the discrete variables continuous and then estimates the D-vine nonparametrically. A simulation study is presented examining for which scenarios the discrete-continuous D-vine quantile regression can provide superior prediction abilities. Lastly, the functionality of the two introduced methods is demonstrated by a real-world example predicting the number of bike rentals.

研究动机与目标

• 解决现有D-藤分位回归方法在建模混合离散-连续数据时的局限性，即其假设边缘分布为连续分布。
• 克服基于配对的模型在处理离散变量时的挑战，如非唯一配对函数和边缘分布对依赖结构的污染。
• 开发灵活、快速且精确的分位回归模型，防止分位数交叉，并自动捕捉协变量之间的交互作用。
• 通过模拟实验和一个真实世界的自行车租赁预测案例研究，证明所提方法的预测优越性。
• 比较D-藤配对函数在离散-连续设定下的参数化与非参数化估计策略，识别最优性能权衡。

提出的方法

• 修改参数化D-藤分位回归公式，以考虑离散边缘分布，通过数值求逆累积分布函数实现条件分位数估计。
• 通过向离散变量添加小噪声实施连续卷积，使其变为连续变量，从而可使用核密度估计器进行D-藤配对函数的非参数估计。
• 采用简化D-藤配对结构，通过顺序成对配对函数对高维依赖关系进行建模，确保模型简洁且灵活。
• 将响应分位数估计为响应边缘分布的逆函数，经由条件配对函数分布函数变换得到。
• 实施一种顺序选择算法，以确定最优D-藤结构，选择能最大化条件依赖性的变量。
• 对每个协变量在不同分位数水平下对预测分位数的影响进行局部加权平滑（loess）可视化。

实验结果

研究问题

• RQ1 参数化D-藤分位回归能否被调整以处理混合离散-连续数据，同时保持其灵活性并避免分位数交叉？
• RQ2 在混合数据中，非参数D-藤分位回归结合连续卷积是否能优于参数化方法和经典分位回归方法，以更准确预测非线性、非单调关系？
• RQ3 与纯连续模型相比，离散协变量如何影响条件分位数预测的准确性和稳定性？
• RQ4 所提方法在多大程度上能捕捉温度和湿度等协变量对自行车租赁需求产生的复杂、非单调效应？
• RQ5 非参数D-藤方法是否能在包含天气和时间变量等混合数据类型的真实世界场景中，可靠估计条件分位数？

主要发现

• 非参数D-藤分位回归（NPDVQR）在预测精度上显著优于参数化D-藤（PDVQR）、线性分位回归（LQR）、加法分位回归（BAQR）和核分位回归（NPQR），尤其在捕捉非线性和非单调效应方面表现更优。
• 对于温度，NPDVQR正确建模了气温超过32°C后租车量下降的趋势，而PDVQR和LQR因假设单调关系而未能捕捉该模式。
• 参数化D-藤方法因标准参数化成对配对函数族的局限性，在处理非单调效应时表现不佳，无法充分表达复杂的依赖模式。
• 在真实世界的自行车租赁案例研究中，NPDVQR预测在温暖的8月周六，中位数租车量为8,872辆，第10和第90百分位数分别为7,431和10,485辆，体现出实际预测应用价值。
• 非参数方法有效捕捉了天气状况、季节性以及一周中不同日期的影响，表明周末需求下降，工作日需求上升。
• 顺序选择算法将温度列为最具影响力的变量，其次为湿度、风速、月份、天气状况、工作日、工作日类型和季节，与真实世界需求模式一致。