[论文解读] Autoregressive Quantile Flows for Predictive Uncertainty Estimation

Phillip Si, Allan Bishop+1 more|arXiv (Cornell University)|Dec 9, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出自回归分位数流（AQFs），一种使用恰当评分规则而非最大似然进行训练的归一化流框架，从而无需计算昂贵的雅可比行列式。该方法支持使用灵活的神经网络架构实现高效训练与采样，在时间序列预测、目标检测和生成建模任务中显著提升了预测不确定性估计性能，在CRPS与样本质量基准测试中达到最先进水平。

ABSTRACT

Numerous applications of machine learning involve representing probability distributions over high-dimensional data. We propose autoregressive quantile flows, a flexible class of normalizing flow models trained using a novel objective based on proper scoring rules. Our objective does not require calculating computationally expensive determinants of Jacobians during training and supports new types of neural architectures, such as neural autoregressive flows from which it is easy to sample. We leverage these models in quantile flow regression, an approach that parameterizes predictive conditional distributions with flows, resulting in improved probabilistic predictions on tasks such as time series forecasting and object detection. Our novel objective functions and neural flow parameterizations also yield improvements on popular generation and density estimation tasks, and represent a step beyond maximum likelihood learning of flows.

研究动机与目标

• 为解决归一化流中雅可比行列式计算带来的计算负担，该负担限制了神经网络架构的选择。
• 通过使用归一化流直接参数化预测条件分布，改进概率预测。
• 提出基于恰当评分规则的训练目标，避免使用最大似然，简化流模型训练。
• 通过新型神经自回归流架构实现实现快速且灵活的采样。
• 在不确定性估计与生成建模方面，相比现有基于流和概率模型的方法，实现更优性能。

提出的方法

• 提出一种基于恰当评分规则而非最大似然的新颖训练目标，避免在训练过程中计算雅可比行列式。
• 引入自回归分位数流（AQFs），一种使用可逆、自回归变换与可学习、灵活的神经网络参数化预测分布的归一化流模型。
• 采用基于分位数的流参数化方式，支持在高维空间中直接建模条件分位数与累积分布函数。
• 采用前向训练范式，支持使用任意神经网络架构（包括LSTM和前馈网络）实现高效采样与训练。
• 将该框架应用于分位数流回归（QFR），其中模型输出完整的归一化流作为预测分布，实现灵活、非参数化的不确定性估计。
• 结合神经自回归流与归一化流，支持表达能力强、可计算且高效的概率建模。

实验结果

研究问题

• RQ1 基于恰当评分规则的训练目标能否在不损失模型表达能力的前提下替代归一化流中的最大似然？
• RQ2 自回归分位数流能否在支持灵活神经网络架构的同时保持高效训练与采样？
• RQ3 分位数流回归在时间序列预测与目标检测任务中是否能提供优于标准概率模型的预测不确定性估计？
• RQ4 分位数流模型在密度估计与图像生成任务中，与基于最大似然的流模型及GAN相比性能如何？
• RQ5 分位数流能否被解释为单变量分位数函数向多变量分布的推广？

主要发现

• AQFs在多个UCI数据集上的CRPS（连续概率评分）表现达到最先进水平，优于基于最大似然的MAF与基于分位数损失的MAF。
• 在UCI数据集中，NAQF在BSDS300数据集上CRPS为0.033，Miniboone为0.525，Gas为0.513，Power为0.502，Hepmass为0.523，显著优于MAF-LL与MAF-QL。
• 在图像生成任务中，NAQF的判别器准确率最低（0.723），CRPS为2.14，表明其生成样本质量优于MAF-LL（D-loss: 0.978）与MAF-QL（D-loss: 0.779）。
• 在时间序列预测中，AQF在不确定性估计方面优于DeepAR，32.1%的时间序列表现出更优的CRPS，并且预测分位数对真实值的覆盖范围更优。
• 该方法支持使用灵活的神经网络架构（如LSTM）进行训练，并支持快速采样，而以往的流模型在采样时需进行反向传播。
• 所提出的训练目标无需计算雅可比行列式，简化了实现过程，并扩展了流模型中可使用的神经网络类型。