[论文解读] PI3NN: Out-of-distribution-aware prediction intervals from three neural networks

Siyan Liu, Pei Zhang+2 more|arXiv (Cornell University)|Aug 5, 2021

Gaussian Processes and Bayesian Inference参考文献 23被引用 7

一句话总结

PI3NN 是一种新颖的方法，通过使用三个独立训练的神经网络（采用标准均方误差损失）构建对分布外（OOD）样本敏感的预测区间。该方法无需微调即可实现与置信度水平无关的预测区间计算，避免了预测区间交叉问题，并通过一种简单的初始化方案提升了 OOD 检测能力，在基准数据集和真实世界数据集上的不确定性校准和鲁棒性方面优于当前最先进方法。

ABSTRACT

We propose a novel prediction interval (PI) method for uncertainty quantification, which addresses three major issues with the state-of-the-art PI methods. First, existing PI methods require retraining of neural networks (NNs) for every given confidence level and suffer from the crossing issue in calculating multiple PIs. Second, they usually rely on customized loss functions with extra sensitive hyperparameters for which fine tuning is required to achieve a well-calibrated PI. Third, they usually underestimate uncertainties of out-of-distribution (OOD) samples leading to over-confident PIs. Our PI3NN method calculates PIs from linear combinations of three NNs, each of which is independently trained using the standard mean squared error loss. The coefficients of the linear combinations are computed using root-finding algorithms to ensure tight PIs for a given confidence level. We theoretically prove that PI3NN can calculate PIs for a series of confidence levels without retraining NNs and it completely avoids the crossing issue. Additionally, PI3NN does not introduce any unusual hyperparameters resulting in a stable performance. Furthermore, we address OOD identification challenge by introducing an initialization scheme which provides reasonably larger PIs of the OOD samples than those of the in-distribution samples. Benchmark and real-world experiments show that our method outperforms several state-of-the-art approaches with respect to predictive uncertainty quality, robustness, and OOD samples identification.

研究动机与目标

• 解决现有预测区间（PI）方法的局限性，包括每个置信度水平均需重新训练，以及对分布外（OOD）样本处理能力较差的问题。
• 消除在不同置信度水平下进行多组预测区间估计时的交叉问题。
• 开发一种无需自定义损失函数或对敏感超参数进行调优的 PI 方法。
• 通过一种新颖的初始化方案，提升 OOD 检测能力，使 OOD 样本的预测区间更宽。

提出的方法

• PI3NN 使用标准均方误差（MSE）损失独立训练三个神经网络，无需任何特殊损失函数或超参数调优。
• 预测区间通过三个网络输出的线性组合构建，系数通过根求解算法确定，以实现目标置信度水平。
• 该方法通过利用一组已被证明满足校准条件的模型，理论上保证了不同置信度水平下预测区间的非交叉性。
• 基于三个网络输出的离散程度计算置信度分数，更大的离散度表示更高的不确定性，可能对应 OOD 状态。
• 提出一种初始化方案，使 OOD 区域内的分段线性区域更大，从而增加 OOD 样本的预测区间宽度。
• 该方法可在不重新训练的情况下，为多个置信度水平提供预测区间，因为三个网络仅需训练一次并可重复使用。

实验结果

研究问题

• RQ1 能否在不为每个置信度水平重新训练的前提下构建预测区间方法，同时避免多组预测区间估计中的交叉问题？
• RQ2 能否在不引入复杂损失函数或敏感超参数调优的情况下，实现校准良好的不确定性估计？
• RQ3 能否通过不确定性量化有效识别 OOD 样本，使这些样本的预测区间自然变宽？
• RQ4 所提出的初始化方案是否通过增加分布外输入的预测区间宽度，提升了 OOD 检测能力？
• RQ5 在真实世界和基准数据集上，PI3NN 在预测不确定性质量、鲁棒性以及 OOD 识别方面与当前最先进方法相比表现如何？

主要发现

• PI3NN 在无需重新训练的情况下成功计算了多个置信度水平的预测区间，因为三个网络仅需训练一次并在所有水平中重复使用。
• 该方法通过第 3.2.1 节的理论分析，完全避免了预测区间估计中的交叉问题。
• 在航班延误数据集上，开启 OOD 识别功能的 PI3NN 在排名 1 的机场（OOD）样本上获得了 0.24±0.05 的置信度分数，显著低于未开启 OOD 检测的 PI3NN 所得的 0.72±0.32，表明 OOD 检测效果显著。
• PI3NN 在识别从训练集（排名 4）到更大机场（排名 1–3）的数据分布漂移方面优于基线方法（如 QD、PIVEN、SQR 和 DER），后者方法未能检测到该分布漂移。
• 实验表明，该方法在无需调整损失函数超参数的情况下保持稳定性能，因其训练仅依赖标准 MSE 损失。
• 在实验中，PI3NN 在不确定性校准和鲁棒性方面优于当前最先进方法，尤其在通过更宽的预测区间区分 OOD 样本方面表现突出。