[论文解读] DeepNNK: Explaining deep models and their generalization using polytope interpolation

Sarath Shekkizhar, Antonio Ortega|arXiv (Cornell University)|Jul 20, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 4

一句话总结

本文提出 DeepNNK，一种非参数化、几何直观的框架，通过非负核（NNK）回归实现局部多面体插值，用于解释深度神经网络。通过利用基于数据几何的自适应加权 k-近邻方法，DeepNNK 实现了实例级别的可解释性，借助留一法估计识别出具有良好泛化能力的模型，并将对抗性样本与生成样本解释为稀疏插值邻域的产物。

ABSTRACT

Modern machine learning systems based on neural networks have shown great success in learning complex data patterns while being able to make good predictions on unseen data points. However, the limited interpretability of these systems hinders further progress and application to several domains in the real world. This predicament is exemplified by time consuming model selection and the difficulties faced in predictive explainability, especially in the presence of adversarial examples. In this paper, we take a step towards better understanding of neural networks by introducing a local polytope interpolation method. The proposed Deep Non Negative Kernel regression (NNK) interpolation framework is non parametric, theoretically simple and geometrically intuitive. We demonstrate instance based explainability for deep learning models and develop a method to identify models with good generalization properties using leave one out estimation. Finally, we draw a rationalization to adversarial and generative examples which are inevitable from an interpolation view of machine learning.

研究动机与目标

• 为解决深度神经网络可解释性有限的问题，特别是模型选择与预测可解释性方面的挑战。
• 开发一种实用的插值框架，结合几何直观与理论保证，避免高维空间中单纯形插值的复杂性。
• 通过追踪预测结果回溯到训练数据中的局部多面体结构，实现基于实例的可解释性。
• 利用插值框架中的留一法估计，识别具有良好泛化能力的模型。
• 从插值稀疏性与不稳定性的角度，解释对抗性样本与生成样本的成因。

提出的方法

• 提出一种基于非负核（NNK）回归的局部多面体插值方法，从训练数据中构建插值邻域。
• 以 k-近邻为起点，但将固定邻域选择替换为基于数据自适应、几何感知的加权方式，优先选择信息量更高的邻居。
• 采用留一法估计策略，通过排除每个训练样本后测量预测误差，评估模型泛化能力。
• 将该框架应用于深度学习模型，通过在 CIFAR-10 上使用 AutoAugment 训练的 Wide-ResNet-28-10 架构集成 NNK 插值。
• 使用插值展开度（公式 14）检测模型脆弱性，通过测量特定测试样本在邻域中邻居权重的变化程度。
• 通过比较对抗性样本与生成样本在插值空间中的平均邻居数量与真实图像的对比，分析其特性。

实验结果

研究问题

• RQ1 如何通过几何插值实现深度神经网络在实例层面的预测解释？
• RQ2 基于插值的方法能否在不依赖传统正则化手段的前提下，提供关于模型泛化能力的理论与实践洞察？
• RQ3 为何对抗性样本与生成样本通常难以泛化？这一现象能否通过插值行为加以解释？
• RQ4 插值邻域中邻居数量在多大程度上与模型稳定性及数据分布相关？
• RQ5 在插值框架上使用留一法估计，能否作为模型泛化性能的可靠代理指标？

主要发现

• 在使用 AutoAugment 训练的 Wide-ResNet-28-10 上，DeepNNK 在 CIFAR-10 上达到 97.3% 的测试准确率，与原始网络性能相当。
• 对抗性样本与生成样本在插值空间中的平均邻居数量显著少于真实图像，表明其在插值空间中覆盖更稀疏。
• 该框架通过检测特定测试实例中邻居权重的高变化性，识别出模型的脆弱预测，揭示了模型的局限性。
• 基于 NNK 插值框架的留一法估计成功识别出具有良好泛化能力的模型。
• 该方法将对抗性样本解释为在不稳定、低密度区域中进行插值的结果，此时仅有少数训练样本影响预测结果。
• 本研究表明，生成样本与对抗性样本并非随机异常值，而是源于训练数据支持极弱区域的插值行为所产生。