[论文解读] Flexible Model Aggregation for Quantile Regression

Rasool Fakoor, Taesup Kim+3 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Statistical Methods and Models被引用 7

一句话总结

本文提出了一种灵活的、基于深度学习的框架，用于聚合多个条件分位数回归模型，以提高预测准确性和校准性。通过使用可学习的、与输入相关的权重，并结合等倾回归或排序的后处理方法，该方法确保了分位数顺序的单调性，并通过合规校准实现了有效的覆盖率，在34个数据集的全面基准测试中优于现有方法。

ABSTRACT

Quantile regression is a fundamental problem in statistical learning motivated by a need to quantify uncertainty in predictions, or to model a diverse population without being overly reductive. For instance, epidemiological forecasts, cost estimates, and revenue predictions all benefit from being able to quantify the range of possible values accurately. As such, many models have been developed for this problem over many years of research in statistics, machine learning, and related fields. Rather than proposing yet another (new) algorithm for quantile regression we adopt a meta viewpoint: we investigate methods for aggregating any number of conditional quantile models, in order to improve accuracy and robustness. We consider weighted ensembles where weights may vary over not only individual models, but also over quantile levels, and feature values. All of the models we consider in this paper can be fit using modern deep learning toolkits, and hence are widely accessible (from an implementation point of view) and scalable. To improve the accuracy of the predicted quantiles (or equivalently, prediction intervals), we develop tools for ensuring that quantiles remain monotonically ordered, and apply conformal calibration methods. These can be used without any modification of the original library of base models. We also review some basic theory surrounding quantile aggregation and related scoring rules, and contribute a few new results to this literature (for example, the fact that post sorting or post isotonic regression can only improve the weighted interval score). Finally, we provide an extensive suite of empirical comparisons across 34 data sets from two different benchmark repositories.

研究动机与目标

• 开发一种通用方法，用于聚合多个条件分位数模型，以提高预测准确性和鲁棒性。
• 通过后处理或正则化技术，确保在不同分位数水平下预测分位数的单调性。
• 通过合规预测方法校准预测区间，实现在多样化数据集上的有效覆盖率。
• 提供一种可扩展的、与深度学习兼容的框架，可无缝集成至现有的分位数回归模型中。
• 在广泛的真实世界数据集上，对所提出的聚合策略与最先进方法进行实证评估。

提出的方法

• 该方法采用加权集成方法，其中聚合权重随输入特征、模型和分位数水平而变化，实现灵活、上下文感知的模型组合。
• 采用通过神经网络参数化的可学习权重函数，使模型能够根据输入上下文自适应地分配基础模型的重要性。
• 应用后处理技术（如后排序和等倾回归，PAVA）以强制实现不同分位数水平间预测分位数的单调性。
• 采用基于惩罚的训练策略，在优化过程中鼓励单调性，从而减少对后处理的依赖。
• 通过CQR-CV+方法应用合规预测，以调整预测区间并保证在名义水平下的有效覆盖率。
• 该框架与任何使用深度学习工具包训练的基线分位数回归模型兼容，支持可扩展性和易于实现。

实验结果

研究问题

• RQ1 灵活的、与输入相关的加权方案是否能在多样化数据集中提升分位数回归集成的准确性？
• RQ2 通过后处理或正则化强制实现预测分位数的单调性，是否能提高预测区间的可靠性？
• RQ3 合规校准能否有效集成到分位数聚合框架中，以确保有效覆盖率而不牺牲区间宽度？
• RQ4 在广泛的真实世界数据中，不同聚合策略在加权区间评分和覆盖率准确性方面表现如何？
• RQ5 是否存在一种实用且可扩展的方法，能在单一端到端框架中同时实现模型灵活性、单调性强制和有效覆盖率？

主要发现

• 采用后排序和合规校准的所提出的深度分位数聚合（DQA）模型在全部34个基准数据集中实现了最一致且准确的覆盖率，优于标准聚合器（如平均值和中位数）。
• 后排序和后等倾回归（PAVA）被证明能严格改善加权区间评分（WIS），与理论预期一致。
• 合规化DQA在每个独立数据集上均实现了至少80%的覆盖率，而非合规化模型在多个案例中未能维持有效覆盖率。
• 合规化DQA方法平均使区间长度增加最多75%，通常增加范围在0–30%之间，显著优于平均值和中位数聚合器。
• QRA和FQRA的区间长度与DQA相当，但在覆盖率方面更为不稳健，尤其在单个数据集上表现更差。
• 实证评估表明，DQA结合简单后排序和CQR-CV+合规化的方法在效率和鲁棒性方面表现最佳。