[论文解读] Influence Functions in Deep Learning Are Fragile

Samyadeep Basu, Philip Pope+1 more|arXiv (Cornell University)|Jun 25, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 15

一句话总结

本文研究了深度学习中影响函数的可靠性，表明其在不同架构和数据集上均表现脆弱。通过大规模实验，本文表明影响估计在更深的网络中显著退化，对权重衰减和网络架构敏感，并且由于非凸性及海森矩阵近似误差而常不准确，凸显了在非凸设置下改进估计器的必要性。

ABSTRACT

Influence functions approximate the effect of training samples in test-time predictions and have a wide variety of applications in machine learning interpretability and uncertainty estimation. A commonly-used (first-order) influence function can be implemented efficiently as a post-hoc method requiring access only to the gradients and Hessian of the model. For linear models, influence functions are well-defined due to the convexity of the underlying loss function and are generally accurate even across difficult settings where model changes are fairly large such as estimating group influences. Influence functions, however, are not well-understood in the context of deep learning with non-convex loss functions. In this paper, we provide a comprehensive and large-scale empirical study of successes and failures of influence functions in neural network models trained on datasets such as Iris, MNIST, CIFAR-10 and ImageNet. Through our extensive experiments, we show that the network architecture, its depth and width, as well as the extent of model parameterization and regularization techniques have strong effects in the accuracy of influence functions. In particular, we find that (i) influence estimates are fairly accurate for shallow networks, while for deeper networks the estimates are often erroneous; (ii) for certain network architectures and datasets, training with weight-decay regularization is important to get high-quality influence estimates; and (iii) the accuracy of influence estimates can vary significantly depending on the examined test points. These results suggest that in general influence functions in deep learning are fragile and call for developing improved influence estimation methods to mitigate these issues in non-convex setups.

研究动机与目标

• 评估影响函数在深度神经网络中的可靠性和准确性，特别是在非凸优化设置下。
• 研究网络深度、宽度、架构和正则化技术对影响估计质量的影响。
• 评估海森矩阵近似方法和模型收敛性对影响估计保真度的影响。
• 为现实世界深度学习设置中的一阶影响函数的局限性提供实证证据。
• 考察在大规模模型（如ImageNet上的ResNet-50）中使用影响函数进行可解释性和模型调试的可行性。

提出的方法

• 在一系列模型上实证评估影响函数：浅层网络（Iris、MNIST）、小型CNN以及在MNIST、CIFAR-10和ImageNet上的深层架构（ResNets）。
• 通过梯度和海森向量积使用一阶泰勒近似方法后验计算影响分数。
• 将影响估计与通过最优模型参数进行留一法微调获得的真实影响进行对比。
• 应用随机海森向量积近似方法（例如Agarwal等人，2016年提出的方法），并评估其在影响估计中的误差。
• 使用皮尔逊相关系数和斯皮尔曼等级相关系数度量估计影响与真实影响之间的相关性。
• 验证从最优参数重新训练策略作为从零开始重新训练的实用代理，通过参数范数差异和相关性稳定性进行评估。

实验结果

研究问题

• RQ1 与通过留一法微调获得的真实影响相比，一阶影响函数在深度神经网络中的准确性如何？
• RQ2 网络深度和宽度在非凸深度学习设置下如何影响影响估计的可靠性？
• RQ3 权重衰减正则化在提升影响估计质量方面起到什么作用？
• RQ4 海森矩阵近似技术如何影响大规模模型中影响估计的准确性？
• RQ5 测试样本点的选择如何影响不同架构和数据集上影响估计的可靠性？

主要发现

• 影响估计在浅层网络中较为准确，但在更深的架构中（尤其是ImageNet上的ResNet-50）变得越来越错误。
• 在某些架构和数据集上，权重衰减正则化对于获得高质量影响估计至关重要。
• 影响估计的准确性显著依赖于所选的测试点，表明其对局部损失景观几何高度敏感。
• 用于影响估计的随机海森向量积近似通常存在误差，是导致估计质量差的重要原因。
• 通过留一法微调获得的真实影响估计在大型模型（如ResNet-50）中表现出显著的变异性，表明重新训练基线本身存在不稳定性。
• 影响估计与真实影响之间的相关性在ImageNet上极低（低于0.15），即使从最优参数重新训练，也表明二者对齐程度极差。