[论文解读] Calibrated Reliable Regression using Maximum Mean Discrepancy

Peng Cui, Wenbo Hu+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

该论文提出了一种基于最大均值差异（MMD）的校准回归方法，通过最小化预测分布与真实分布之间的核嵌入差异，实现渐近零校准误差。实验表明，该方法生成了校准良好且精确的预测区间，在真实世界数据集上优于最先进方法。

ABSTRACT

Accurate quantification of uncertainty is crucial for real-world applications of machine learning. However, modern deep neural networks still produce unreliable predictive uncertainty, often yielding over-confident predictions. In this paper, we are concerned with getting well-calibrated predictions in regression tasks. We propose the calibrated regression method using the maximum mean discrepancy by minimizing the kernel embedding measure. Theoretically, the calibration error of our method asymptotically converges to zero when the sample size is large enough. Experiments on non-trivial real datasets show that our method can produce well-calibrated and sharp prediction intervals, which outperforms the related state-of-the-art methods.

研究动机与目标

• 解决深度神经网络在回归任务中预测过度自信的问题。
• 通过确保预测分布校准良好，改进不确定性量化。
• 开发一种随着样本量增加而渐近实现零校准误差的方法。
• 生成比现有最先进方法更优的精确且可靠的预测区间。

提出的方法

• 通过核嵌入最小化预测经验分布与真实目标分布之间的最大均值差异（MMD）。
• 利用再生核希尔伯特空间（RKHS）以非参数方式度量分布差异。
• 在训练过程中端到端优化，以对齐预测和真实条件分布。
• 采用基于核的统计检验，确保分布对齐，而无需显式密度估计。
• 该方法设计为可扩展，并与深度神经网络架构兼容。

实验结果

研究问题

• RQ1 基于MMD的分布对齐能否有效降低深度回归模型的校准误差？
• RQ2 随着样本量增加，所提出方法是否能实现渐近零校准误差？
• RQ3 在预测区间校准性和精确性方面，该方法与最先进方法相比表现如何？
• RQ4 该方法能否在不进行显式密度建模的情况下生成可靠的不确定性估计？

主要发现

• 随着样本量增加，所提方法的校准误差渐近收敛至零。
• 该方法在非平凡的真实世界数据集上生成了校准良好的预测区间。
• 该方法生成的预测区间既精确又可靠，优于现有最先进方法。
• 通过基于核的分布对齐，该方法有效降低了深度神经网络预测的过度自信。