[论文解读] Justification-Based Reliability in Machine Learning

Nurali Virani, Naresh Iyer+1 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 4

一句话总结

本文通过将柏拉图的 justified true belief (JTB) 理论扩展至机器学习模型，提出了一种基于论证的可靠性框架，以量化个体预测中的认识论不确定性。该方法提出邻域算子（如 k-NN、ℓp-范数、ε-NN）来收集训练数据对预测的支持，使分类结果可划分为‘我知道’（IK）、‘我可能知道’（IMK）或‘我不知道’（IDK）区域。实验表明，该方法在对抗性扰动下表现出更优的鲁棒性，并且在可靠性方面优于基线阈值方法。

ABSTRACT

With the advent of Deep Learning, the field of machine learning (ML) has surpassed human-level performance on diverse classification tasks. At the same time, there is a stark need to characterize and quantify reliability of a model's prediction on individual samples. This is especially true in application of such models in safety-critical domains of industrial control and healthcare. To address this need, we link the question of reliability of a model's individual prediction to the epistemic uncertainty of the model's prediction. More specifically, we extend the theory of Justified True Belief (JTB) in epistemology, created to study the validity and limits of human-acquired knowledge, towards characterizing the validity and limits of knowledge in supervised classifiers. We present an analysis of neural network classifiers linking the reliability of its prediction on an input to characteristics of the support gathered from the input and latent spaces of the network. We hypothesize that the JTB analysis exposes the epistemic uncertainty (or ignorance) of a model with respect to its inference, thereby allowing for the inference to be only as strong as the justification permits. We explore various forms of support (for e.g., k-nearest neighbors (k-NN) and l_p-norm based) generated for an input, using the training data to construct a justification for the prediction with that input. Through experiments conducted on simulated and real datasets, we demonstrate that our approach can provide reliability for individual predictions and characterize regions where such reliability cannot be ascertained.

研究动机与目标

• 将认识论中的‘有根据的信念’概念形式化，以提升机器学习模型在个体预测中的可靠性。
• 在模型预测中区分认识论不确定性（因信息缺失导致的知识缺乏）与随机不确定性（数据固有的变异性）。
• 开发与领域无关的邻域算子，从输入空间和潜在空间的训练数据中收集证据以支持预测。
• 根据支持质量与数据密度，将输入区域划分为‘我知道’（IK）、‘我可能知道’（IMK）或‘我不知道’（IDK）。
• 在对抗性扰动和噪声下评估方法的鲁棒性，引入 F_IK 和 A_IK 等新指标以评估可靠性。

提出的方法

• 将认识论中的有根据真信念（JTB）框架扩展至机器学习，将模型预测视为需要论证才能成为知识的信念。
• 使用 k-NN、ℓp-范数和 ε-NN 算子，从给定输入在输入空间和隐藏层空间中收集训练数据点的支持。
• 将预测划分为三个可靠性区域：IK（可信）、IMK（因支持重叠而模糊）、IDK（异常，无邻近支持）。
• 在多个网络层（如 logits 层和中间层）应用邻域算子，以提升鲁棒性与论证质量。
• 采用新指标 F_IK（正确 IK 预测的比例）和 A_IK（IK 预测的准确率）评估在扰动下的可靠性。
• 使用 Platt 校准与基于邻域的信任度分数对预测进行校准，避免依赖 softmax 置信度阈值。

实验结果

研究问题

• RQ1 JTB 框架能否被适配以量化机器学习模型在个体预测中的认识论不确定性？
• RQ2 不同邻域算子（k-NN、ℓp-范数、ε-NN）如何影响模型预测的可靠性与鲁棒性？
• RQ3 该方法能否在输入空间中区分外推区域（IDK）、混淆区域（IMK）与可信区域（IK）？
• RQ4 与基线 softmax 分数阈值方法相比，该方法在对抗性与良性扰动下的鲁棒性如何？
• RQ5 从多个网络层收集支持在多大程度上能提升可靠性并减少预测的过度自信？

主要发现

• 在大范围对抗性扰动下，ε-NN 和 H-2 邻域算子实现了较高的 F_IK 和 A_IK，优于 k-NN 和基线方法。
• 基线模型在扰动下虽然 F_IK 较高，但 IK 预测的 A_IK 表现不佳，表明存在过度自信；而所提方法能正确识别 IDK 区域。
• 从至少两个网络层（如 logits 层与中间层）收集支持，相比仅使用 logits 层，显著提升了鲁棒性。
• 该方法成功识别出邻域为空的 IDK 区域，表明输入为异常或新样本；同时识别出支持不纯的 IMK 区域，提示需要额外信息。
• 该方法在模拟数据、时间序列和图像数据上均表现出更优的可靠性，且在对抗性鲁棒性与异常检测方面性能更优。
• H-2 与 ε-NN 算子的覆盖范围低于 k-NN，但在大扰动下可靠性显著更高，凸显了覆盖范围与鲁棒性之间的权衡。