[论文解读] High-Quality Prediction Intervals for Deep Learning: A Distribution-Free, Ensembled Approach

Tim Pearce, Mohamed Zaki+2 more|arXiv (Cornell University)|Feb 20, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用 150

一句话总结

引入一种分布无关的损失函数（Quality-Driven, HQ）以产生回归的窄预测区间（PI），并显示 QD-Ens 在十个基准数据集上相较于最先进的 MVE-Ens 提高 PI 质量。

ABSTRACT

This paper considers the generation of prediction intervals (PIs) by neural networks for quantifying uncertainty in regression tasks. It is axiomatic that high-quality PIs should be as narrow as possible, whilst capturing a specified portion of data. We derive a loss function directly from this axiom that requires no distributional assumption. We show how its form derives from a likelihood principle, that it can be used with gradient descent, and that model uncertainty is accounted for in ensembled form. Benchmark experiments show the method outperforms current state-of-the-art uncertainty quantification methods, reducing average PI width by over 10%.

研究动机与目标

• 以高质量预测区间量化回归中的不确定性。
• 开发一个分布无关且符合 HQ 原则的 PI 输出损失函数。
• 通过集成引入模型不确定性，并与当前最先进的不确定性方法进行比较。

提出的方法

• 从 HQ 原则推导 LossQD 以在固定覆盖度 (1-α) 下最小化 PI 宽度。
• 使用捕获的 MPIWcapt 以避免在错过的数据点处收缩宽度。
• 对 PI 覆盖采用伯努利似然，并应用单边损失项以在 PICP < (1−α) 时强制覆盖。
• 提出可微的（软）版本 LossQD-soft，以实现梯度下降训练。
• 使用 LossQD-soft 训练神经网络的集合以捕获模型不确定性；将集合界限结合形成最终的 PI。
• 基准测试十个公开数据集，与 MVE-Ens 对比，报告 PI 质量度量指标 PICP 和 MPIW。

实验结果

研究问题

• RQ1 如何构建一个分布无关的损失函数，在神经网络中产生在指定覆盖度下的窄 PI？
• RQ2 一个神经网络集合能否有效捕获 PI 估计中的模型不确定性？
• RQ3 在基准数据集上，与 LUBE 和 MVE 相比，提出的 HQ 基损失在 PI 宽度和覆盖率方面有何差异？

主要发现

数据集	PICP_MVE	PICP_QD	MPIW_MVE	MPIW_QD	改善
BOSTON	1.76 ± 0.28	1.33 ± 0.05	0.89 ± 0.02	0.92 ± 0.01	NA
CONCRETE	1.23 ± 0.06	1.16 ± 0.02	0.92 ± 0.01	0.94 ± 0.01	NA
ENERGY	0.50 ± 0.02	0.47 ± 0.01	0.99 ± 0.00	0.97 ± 0.01	7%
KIN8NM	1.14 ± 0.01	1.24 ± 0.01	0.97 ± 0.00	0.96 ± 0.00	-10%
NAVAL	0.31 ± 0.01	0.27 ± 0.01	0.99 ± 0.00	0.98 ± 0.00	10%
POWER PLANT	0.91 ± 0.00	0.86 ± 0.00	0.96 ± 0.00	0.95 ± 0.00	6%
PROTEIN	2.70 ± 0.01	2.28 ± 0.01	0.96 ± 0.00	0.95 ± 0.00	15%
WINE	4.13 ± 0.31	3.13 ± 0.19	0.90 ± 0.01	0.92 ± 0.01	7%
YACHT	0.31 ± 0.02	0.23 ± 0.02	0.98 ± 0.01	0.96 ± 0.01	43%
SONG YEAR	2.90 ± NA	2.47 ± NA	0.96 ± NA	0.96 ± NA	15%

• QD-Ens 在十个数据集的 PI 质量指标上优于 MVE-Ens，PICP 更接近 0.95，MPIW 平均约缩短 11.6%。
• HQ 损失提供了一种鲁棒的分布无关方法，不假设高斯噪声，并在使用软近似时仍保持与梯度下降的竞争力。
• 在保持或提高覆盖率的同时实现 PI 宽度的缩小，展示了在不做分布假设下的有效不确定性量化。
• 集成提供了估计模型不确定性的实际机制，集合的上/下界 PI 由成员预测构成。
• 训练考虑因素显示 LossQD-soft 使基于梯度的优化成为可行，与 MVE-Ens 相比，使用更低的学习率和更多的训练轮次可提高稳定性。
• 论文在将 MVE 输出转换为 PIs 以公平评估 PI 标准方面，与 MVE-Ens 相较结果良好。