[论文解读] Deep Non-Crossing Quantiles through the Partial Derivative

Axel Brando, Joan Gimeno+2 more|arXiv (Cornell University)|Jan 30, 2022

Fault Detection and Control Systems被引用 4

一句话总结

本文提出了一种深度学习框架，通过使用切比雪夫多项式对分位数函数的偏导数进行建模，确保分位数不交叉，从而在机器精度范围内保证单调性。该方法在多个真实世界数据集上实现了最先进水平的对数似然性能，同时消除了分位数交叉现象。

ABSTRACT

Quantile Regression (QR) provides a way to approximate a single conditional quantile. To have a more informative description of the conditional distribution, QR can be merged with deep learning techniques to simultaneously estimate multiple quantiles. However, the minimisation of the QR-loss function does not guarantee non-crossing quantiles, which affects the validity of such predictions and introduces a critical issue in certain scenarios. In this article, we propose a generic deep learning algorithm for predicting an arbitrary number of quantiles that ensures the quantile monotonicity constraint up to the machine precision and maintains its modelling performance with respect to alternative models. The presented method is evaluated over several real-world datasets obtaining state-of-the-art results as well as showing that it scales to large-size data sets.

研究动机与目标

• 解决深度分位数回归中分位数交叉这一关键问题，即预测的分位数违反单调性。
• 开发一种通用的深度学习封装方法，无需牺牲预测性能即可在条件分位数函数中强制实现单调性。
• 确保预测的分位数相对于分位数水平 τ 严格递增，以保持条件分布的有效性。
• 在真实世界数据集上评估该方法，并与最先进分位数回归模型进行性能比较。
• 展示该方法在大规模数据上的可扩展性和鲁棒性，同时保持高达机器精度的单调性。

提出的方法

• 该方法使用神经网络对分位数函数关于 τ 的偏导数进行建模，输出为正值的系数。
• 通过使用切比雪夫多项式逼近来重建分位数函数，方法为对学习到的导数进行积分，从而保证单调性。
• 神经网络输出 d 个正值（根），用于定义切比雪夫多项式的系数，进而计算导数。
• 采用带小偏移的软阈值激活函数，确保网络输出严格为正，从而强制导数为正。
• 模型通过蒙特卡洛方法对分位数回归损失中的积分进行近似，每个训练步骤中在 [0,1] 上均匀采样 τ。
• 对网络权重应用 ReLU 激活函数，以在多项式表示中强制非负系数。

实验结果

研究问题

• RQ1 能否设计一种深度学习模型，在不损害建模性能的前提下，确保预测分位数的单调性？
• RQ2 如何参数化分位数函数的偏导数，以保证分位数不交叉？
• RQ3 通过切比雪夫多项式逼近强制单调性，是否能带来相比现有方法更好的对数似然性能？
• RQ4 所提出的方法能否在大规模数据集上保持单调性与高预测准确率的同时实现有效扩展？
• RQ5 在分位数交叉和似然估计方面，该方法与最先进分位数回归模型相比表现如何？

主要发现

• 在八个 UCI 数据集上，该方法实现了最先进水平的对数似然性能，优于 IQN、PCDN 和 NAM。
• 所有实验中均实现零分位数交叉，这是由导数逼近的单调性所保证的。
• 该模型在保持高达机器精度单调性的同时，维持了高水平的预测性能，而标准分位数回归模型则不具备此特性。
• 在配备 Titan X 和 RTX 2080 GPU 的工作站上，该方法在大规模数据上表现出有效的可扩展性。
• PCDN 和所提模型是唯一保证单调性的方法，而 IQN 等其他方法则表现出显著的分位数交叉。
• 在全部 20 个数据划分中，所提方法的分位数交叉数量为零，证实了其鲁棒性与有效性。