[论文解读] If Influence Functions are the Answer, Then What is the Question?

Juhan Bae, Nathan Ng+3 more|arXiv (Cornell University)|Sep 12, 2022

Neural Networks and Applications被引用 12

一句话总结

该论文指出，神经网络中的影响函数无法准确近似留一法（LOO）微调，原因在于模型未收敛、热启动效应以及隐式正则化，但其结果却与一种新提出的目标函数——近端Bregman响应函数（PBRF）高度一致。PBRF更能反映影响函数的真正意图：在保持模型一致性的同时衡量移除某条数据点的影响，因此尽管影响函数与LOO微调不一致，其在实际应用中仍具有高度实用性。

ABSTRACT

Influence functions efficiently estimate the effect of removing a single training data point on a model's learned parameters. While influence estimates align well with leave-one-out retraining for linear models, recent works have shown this alignment is often poor in neural networks. In this work, we investigate the specific factors that cause this discrepancy by decomposing it into five separate terms. We study the contributions of each term on a variety of architectures and datasets and how they vary with factors such as network width and training time. While practical influence function estimates may be a poor match to leave-one-out retraining for nonlinear networks, we show they are often a good approximation to a different object we term the proximal Bregman response function (PBRF). Since the PBRF can still be used to answer many of the questions motivating influence functions, such as identifying influential or mislabeled examples, our results suggest that current algorithms for influence function estimation give more informative results than previous error analyses would suggest.

研究动机与目标

• 诊断为何影响函数在神经网络中无法近似留一法（LOO）微调，尽管在线性模型中表现良好。
• 将影响函数与LOO微调之间的差异分解为五个独立成分：冷启动与热启动响应、邻近性正则化、参数未收敛、损失函数线性化，以及线性系统近似解。
• 评估每个成分在不同架构、数据集及训练条件（如宽度、深度、权重衰减和训练时间）下对差异的贡献程度。
• 提出近端Bregman响应函数（PBRF）作为影响函数更合适的优化目标，更准确反映影响分析的真正意图。
• 证明影响函数在实际应用场景中依然有效，例如检测误标样本，因为其与PBRF高度一致，而非与LOO微调一致。

提出的方法

• 将影响函数与LOO微调之间的差异分解为五个部分：(1) 冷启动与热启动响应，(2) 隐式邻近性正则项，(3) 参数未收敛，(4) 损失函数的线性化，(5) 线性系统的近似求解。
• 定义近端Bregman响应函数（PBRF）为一种新目标，通过惩罚函数空间和权重空间中相对于原始模型的偏离，更准确捕捉影响函数的真正意图，优于LOO微调。
• 采用两阶段LOO微调方法——先在完整数据集上训练，再在移除一个样本的数据集上训练——以隔离数据移除效应与训练时间效应，作为PBRF的代理指标。
• 通过皮尔逊相关系数与斯皮尔曼等级相关系数，评估影响函数在二分类、回归、图像重建、图像分类和语言建模等多任务中与LOO、PBRF及两阶段LOO的相关性。
• 系统性地改变网络宽度、深度、权重衰减、阻尼系数及移除样本数量，分析各差异成分的敏感性。
• 将影响函数与PBRF应用于检测被污染MNIST数据集中的误标样本，通过检查前k个最具影响力样本，评估能纠正的误标数据比例。

实验结果

研究问题

• RQ1 为何影响函数在神经网络中无法近似LOO微调，尽管在线性模型中表现良好？
• RQ2 在差异分解的五个成分中——热启动效应、邻近性正则化、未收敛参数、线性化与线性系统近似解——哪一个对影响函数与LOO微调之间的错位贡献最大？
• RQ3 各差异成分的贡献如何随模型宽度、深度、权重衰减、训练时间与阻尼系数的变化而改变？
• RQ4 近端Bregman响应函数（PBRF）是否比LOO微调更能反映影响函数的真实意图？能否作为更合适的评估标准？
• RQ5 若影响函数与PBRF一致而非LOO微调，其在检测误标样本等实际任务中是否仍具有效性？

主要发现

• 影响函数与LOO微调之间的差异主要由三个成分驱动：(1) 冷启动与热启动响应，(2) 隐式邻近性正则化，(3) 参数未收敛，三者共同导致了绝大部分错位。
• PBRF通过惩罚函数空间与权重空间中相对于原始模型的偏离，能更准确捕捉影响函数的意图，在所有评估任务中（包括图像分类与语言建模）与影响函数估计高度一致。
• 在所有数据集中，影响函数与PBRF的相关性均很高（皮尔逊相关系数 r > 0.85），包括MNIST（r=0.98）与FashionMNIST（r=0.91），而与LOO微调的相关性则显著较低。
• 两阶段LOO微调方法（隔离数据移除效应与训练时间效应）与影响函数的相关性更高（r > 0.5），高于热启动微调，验证其可作为PBRF的可靠代理。
• 在被污染的MNIST数据集中，利用PBRF分数对训练样本进行优先排序，仅检查20%的数据即可检测出超过80%的误标样本，优于随机选择。
• 成分(4) 线性化与(5) 线性系统近似求解的贡献不足主要差异项的十分之一，表明其为次要误差来源。