[论文解读] Calibrated Multiple-Output Quantile Regression with Representation Learning

Shai Feldman, Stephen Bates+1 more|arXiv (Cornell University)|Oct 2, 2021

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

该论文提出了一种校准的多输出分位数回归方法，通过条件变分自编码器（CVAE）进行表征学习，将多变量响应转换到单峰潜在空间，在该空间中应用方向分位数回归（DQR）以构建灵活且非凸的预测区域。该方法通过一种新颖的推断预测扩展，确保了有限样本的边际覆盖概率，与现有方法相比，预测区域显著更小且更精确。

ABSTRACT

We develop a method to generate predictive regions that cover a multivariate response variable with a user-specified probability. Our work is composed of two components. First, we use a deep generative model to learn a representation of the response that has a unimodal distribution. Existing multiple-output quantile regression approaches are effective in such cases, so we apply them on the learned representation, and then transform the solution to the original space of the response. This process results in a flexible and informative region that can have an arbitrary shape, a property that existing methods lack. Second, we propose an extension of conformal prediction to the multivariate response setting that modifies any method to return sets with a pre-specified coverage level. The desired coverage is theoretically guaranteed in the finite-sample case for any distribution. Experiments conducted on both real and synthetic data show that our method constructs regions that are significantly smaller compared to existing techniques.

研究动机与目标

• 为解决多变量分位数回归中矩形或凸预测区域的局限性，这些区域无法捕捉响应变量中复杂且非凸的不确定性结构。
• 开发一种方法，可在有限样本独立同分布假设下，构建具有用户指定、理论保证的边际覆盖概率（1−α）的多变量预测区域。
• 通过将响应变量转换到单峰潜在空间，使方向分位数回归更有效，从而提升区域效率，随后再将结果反变换回原始空间。
• 通过一种两阶段推断预测方案校准最终预测区域，根据初始覆盖情况调整区域大小。
• 在合成数据和真实世界数据上，证明所提方法生成的预测区域比基线方法更小、更具信息量。

提出的方法

• 训练一个条件变分自编码器（CVAE），将多变量响应 Y 映射到低维单峰潜在表示 Z，确保 Z|X 的条件分布近似为标准正态分布。
• 在潜在空间 Z 中应用方向分位数回归（DQR），通过多个方向上估计的分位数定义的半空间的交集，构建分位数区域。
• 将 Z 空间中的 DQR 区域通过逆 CVAE 反变换回原始响应空间 Y，得到非凸且灵活的预测区域。
• 引入一种新颖的推断预测框架，对 Z 空间中的 DQR 区域进行校准，通过根据初始经验覆盖情况调整区域大小，确保有限样本的边际覆盖概率（情况1：若覆盖过小则扩大；情况2：若覆盖过大则缩小）。
• 校准过程采用两步法：首先计算基础区域的经验覆盖；其次，根据初始覆盖是否低于或高于名义水平，分别应用缩放或阈值策略。
• 通过将逆 CVAE 应用于校准后的 Z 空间区域，获得 Y 空间中的最终预测区域，从而保持覆盖保证并提升区域紧凑性。

实验结果

研究问题

• RQ1 通过 CVAE 进行表征学习，能否通过将响应变量映射到单峰潜在空间，提升多变量分位数回归区域的灵活性与效率？
• RQ2 在学习到的潜在空间中应用方向分位数回归，是否能产生比直接多变量分位数回归更准确、更不保守的预测区域？
• RQ3 能否有效将推断预测扩展适配到多变量响应设置中，以确保具有理论保证的有限样本边际覆盖概率？
• RQ4 与基线方法（如朴素边际分位数回归和向量分位数回归）相比，所提方法在区域大小和覆盖准确性方面表现如何？
• RQ5 潜在维度和名义覆盖水平对校准区域经验覆盖的影响是什么？

主要发现

• 所提方法在合成数据和真实世界数据集上均构建了显著小于基线方法的预测区域，表明效率显著提升。
• 该方法对任意分布均具有理论保证的有限样本边际覆盖概率，确保真实响应以至少 1−α 的概率落入预测区域。
• 利用 CVAE 将响应映射到单峰潜在空间，使得能够构建非凸、形状灵活的预测区域，更准确反映真实不确定性结构。
• 校准过程能有效根据初始覆盖情况调整区域大小，对情况1（初始覆盖 < 1−α）和情况2（初始覆盖 > 1−α）采用独立策略，确保鲁棒性。
• 实证结果表明，该方法在保持或提升覆盖概率的同时，显著减小了区域体积，尤其当真实响应分布为非椭圆或非凸时效果更明显。
• 该方法具有良好的可扩展性与效率，大多数配置下运行时间低于一小时，内存使用低于 13 GB，即使输入特征多达 50 个也适用。