[论文解读] A new asymmetric $\epsilon$-insensitive pinball loss function based support vector quantile regression model

Pritam Anand, Reshma Rastogi+1 more|arXiv (Cornell University)|Aug 19, 2019

Statistical Methods and Inference参考文献 11被引用 4

一句话总结

本文提出了一种用于支持向量分位数回归（SVQR）的非对称ϵ-无关惩罚函数，实现了固定宽度、依赖分位数τ的非对称ϵ-无关区域，从而提升了稀疏性和预测精度。所提出的ϵ-SVQR模型在人工数据集和真实世界UCI数据集上均展现出优于现有SVQR方法的泛化能力与稀疏性。

ABSTRACT

In this paper, we propose a novel asymmetric $\epsilon$-insensitive pinball loss function for quantile estimation. There exists some pinball loss functions which attempt to incorporate the $\epsilon$-insensitive zone approach in it but, they fail to extend the $\epsilon$-insensitive approach for quantile estimation in true sense. The proposed asymmetric $\epsilon$-insensitive pinball loss function can make an asymmetric $\epsilon$- insensitive zone of fixed width around the data and divide it using $ au$ value for the estimation of the $ au$th quantile. The use of the proposed asymmetric $\epsilon$-insensitive pinball loss function in Support Vector Quantile Regression (SVQR) model improves its prediction ability significantly. It also brings the sparsity back in SVQR model. Further, the numerical results obtained by several experiments carried on artificial and real world datasets empirically show the efficacy of the proposed `$\epsilon$-Support Vector Quantile Regression' ($\epsilon$-SVQR) model over other existing SVQR models.

研究动机与目标

• 解决现有SVQR模型中缺乏真正ϵ-无关区域集成的问题，该问题导致无法保证稀疏性与泛化能力。
• 克服先前非对称ϵ-无关惩罚函数中对称ϵ管与可变宽度区域的局限性。
• 开发一种损失函数，实现固定宽度、依赖τ的非对称ϵ-无关区域，以实现精确的分位数估计。
• 通过在合理凸优化框架中引入ϵ-无关方法，提升SVQR的泛化能力与稀疏性。
• 通过在人工与真实世界数据集上进行广泛实验，验证所提ϵ-SVQR模型的有效性。

提出的方法

• 提出一种新颖的非对称ϵ-无关惩罚函数，通过分位数水平τ将固定宽度的ϵ区域进行划分。
• 将该损失函数集成至SVQR框架中，确保凸性，并通过二次规划实现高效优化。
• 将ϵ-SVQR模型表述为一个约束优化问题，以最小化新损失函数并引入正则化项。
• 采用结构风险最小化原则，确保良好的泛化性能。
• 确保ϵ-无关区域在估计的分位数函数周围呈非对称分布，其宽度由数据方差决定，而非τ。
• 使用标准SVM求解器实现模型，利用ϵ-无关区域带来的稀疏性以减少支持向量数量。

实验结果

研究问题

• RQ1 能否为分位数回归构建一个真正非对称的ϵ-无关区域，使其保持固定宽度并依赖于τ？
• RQ2 在SVQR中引入ϵ-无关区域是否能提升模型的稀疏性与预测精度，相较于标准SVQR？
• RQ3 所提出的损失函数是否具备凸性，且适用于高效优化，同时降低经验风险？
• RQ4 ϵ的选择如何影响ϵ-SVQR模型在不同分位数与数据集上的性能与稀疏性？
• RQ5 ϵ-SVQR模型在多样化的真实世界与人工数据集上是否比现有SVQR模型具有更好的泛化能力？

主要发现

• 所提出的非对称ϵ-无关惩罚函数是凸的，且确保了固定宽度、依赖τ的非对称ϵ区域，与先前对称或可变宽度方法形成鲜明对比。
• ϵ-SVQR模型在RMSE上相较标准SVQR有显著提升，例如在波士顿房价数据集上τ = 0.1时误差最低减少10.5%。
• 在Servo数据集上，ϵ-SVQR模型相较标准SVQR将RMSE降低了最多12.5%，且在τ = 0.9时稀疏性达到21.17%。
• 在Traizines数据集上，ϵ-SVQR模型在τ = 0.8时稀疏性最高达62.38%，展现出强大的支持向量减少能力。
• 在所有测试的τ值下，ϵ-SVQR模型在预测精度与稀疏性方面均优于标准SVQR与稀疏SVQR。
• 最优ϵ值与响应变量的方差相关，表明基于数据驱动的策略选择ϵ值是有效的。