[论文解读] Locally Valid and Discriminative Prediction Intervals for Deep Learning Models

Zhen Lin, Shubhendu Trivedi+1 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning in Materials Science被引用 6

一句话总结

本文提出了一种用于深度学习模型的局部有效且可区分的（LVD）预测区间，结合了置信预测与核回归，实现了无需分布假设的有限样本局部覆盖保证。LVD方法具有可扩展性、事后处理特性，且在覆盖度、准确度和不确定性区分能力方面优于现有方法，同时保持了模型性能。

ABSTRACT

Crucial for building trust in deep learning models for critical real-world applications is efficient and theoretically sound uncertainty quantification, a task that continues to be challenging. Useful uncertainty information is expected to have two key properties: It should be valid (guaranteeing coverage) and discriminative (more uncertain when the expected risk is high). Moreover, when combined with deep learning (DL) methods, it should be scalable and affect the DL model performance minimally. Most existing Bayesian methods lack frequentist coverage guarantees and usually affect model performance. The few available frequentist methods are rarely discriminative and/or violate coverage guarantees due to unrealistic assumptions. Moreover, many methods are expensive or require substantial modifications to the base neural network. Building upon recent advances in conformal prediction [13, 33] and leveraging the classical idea of kernel regression, we propose Locally Valid and Discriminative prediction intervals (LVD), a simple, efficient, and lightweight method to construct discriminative prediction intervals (PIs) for almost any DL model. With no assumptions on the data distribution, such PIs also offer finite-sample local coverage guarantees (contrasted to the simpler marginal coverage). We empirically verify, using diverse datasets, that besides being the only locally valid method for DL, LVD also exceeds or matches the performance (including coverage rate and prediction accuracy) of existing uncertainty quantification methods, while offering additional benefits in scalability and flexibility.

研究动机与目标

• 为解决深度学习中缺乏理论坚实、可扩展的不确定性量化方法的问题，该方法需同时确保有效性与区分性。
• 开发一种事后处理方法，提供具有有限样本局部覆盖保证的预测区间，避免依赖边际覆盖或强分布假设。
• 在保持高预测准确度和模型性能的同时，实现对局部输入复杂度自适应的不确定性估计。
• 克服现有贝叶斯方法与置信方法的局限性，后者通常无法保证频率学派的有效性或面临高计算成本。
• 提供一种轻量级、灵活的框架，可应用于任意深度学习模型，无需架构或训练过程的修改。

提出的方法

• 利用置信预测原理结合核回归，基于输入空间中邻近样本的相似性来估计局部预测不确定性。
• 针对每个测试输入，使用其周围训练点的局部邻域，通过影响函数与经验误差估计来计算预测区间的宽度。
• 采用改进的分割置信框架并引入局部加权，以实现局部有效性，确保覆盖概率条件于输入特征。
• 采用高效的近似技术计算影响函数，无需完整微调，从而实现对大型模型与数据集的可扩展性。
• 引入一种核加权误差估计方法，根据局部模型不确定性动态调整区间宽度。
• 通过将不确定性估计作为事后步骤独立于主训练过程，从而保持模型性能。

实验结果

研究问题

• RQ1 一种事后不确定性估计方法能否在无需强分布假设的前提下，为深度学习模型提供有限样本局部覆盖保证？
• RQ2 如何使深度学习模型的预测区间既有效（覆盖度达标）又可区分（对局部不确定性敏感）？
• RQ3 此类方法能否在保持基础深度学习模型预测准确度的同时，实现计算高效与可扩展性？
• RQ4 所提出的方法在覆盖度、区间宽度及对局部数据结构的适应性方面，是否优于现有贝叶斯与置信方法？
• RQ5 该方法是否在无需架构或训练修改的前提下，对多种数据集与模型架构均表现出鲁棒性？

主要发现

• 在所评估的方法中，LVD 是唯一能为深度学习模型提供有限样本局部覆盖保证的方法。
• LVD 在覆盖度上达到或超过最先进方法，同时产生更窄的预测区间，表明其对不确定性的区分能力更强。
• 该方法保持了基础深度学习模型的预测准确度，在实验中未观察到性能下降。
• 与基于影响函数的方法（如 Jackknife+ 和 DJ）相比，LVD 展现出更优的可扩展性，后者在大型模型上计算成本过高。
• 在多种数据集（如 Boston Housing、QM9、Concrete、Kin8nm）上的实证结果表明，LVD 在覆盖度与区间宽度方面均优于或匹配现有方法。
• 该方法在不同模型架构与数据模态下均表现稳健，证实了其灵活性与泛化能力。