[论文解读] Interpreting Black Box Predictions using Fisher Kernels

Rajiv Khanna, Been Kim+2 more|arXiv (Cornell University)|Oct 23, 2018

Machine Learning and Data Classification参考文献 14被引用 32

一句话总结

该论文提出了一种模型无关的方法，通过使用Fisher核和顺序贝叶斯积分（SBQ）识别最具影响力的训练样本，以解释黑箱模型的预测结果。该方法实现了有理论依据且可扩展的训练数据选择，能够解释整个测试集的预测，其在数据整理、错误标注检测和数据摘要任务中均优于基线方法，并具备理论收敛保证。

ABSTRACT

Research in both machine learning and psychology suggests that salient examples can help humans to interpret learning models. To this end, we take a novel look at black box interpretation of test predictions in terms of training examples. Our goal is to ask `which training examples are most responsible for a given set of predictions'? To answer this question, we make use of Fisher kernels as the defining feature embedding of each data point, combined with Sequential Bayesian Quadrature (SBQ) for efficient selection of examples. In contrast to prior work, our method is able to seamlessly handle any sized subset of test predictions in a principled way. We theoretically analyze our approach, providing novel convergence bounds for SBQ over discrete candidate atoms. Our approach recovers the application of influence functions for interpretability as a special case yielding novel insights from this connection. We also present applications of the proposed approach to three use cases: cleaning training data, fixing mislabeled examples and data summarization.

研究动机与目标

• 为解决缺乏有理论依据且可扩展的方法来利用训练数据而非单个预测结果解释一组测试预测的问题。
• 将影响函数从单一样本推广到集合层面的影响，实现对模型行为的整体性解释。
• 为离散候选集合上的SBQ提供理论收敛边界，提升算法效率与可扩展性。
• 在真实世界应用场景中展示其实际效用：训练数据整理、错误标注样本检测与数据摘要。
• 建立影响函数与基于Fisher核的影响之间的正式联系，揭示关于模型鲁棒性与可解释性的新见解。

提出的方法

• 将所有训练和测试数据点嵌入由Fisher核诱导的特征空间中，该空间编码了数据点之间的模型驱动相似性。
• 使用顺序贝叶斯积分（SBQ）贪婪地选择一组能最好近似测试集在Fisher核空间中分布的训练样本。
• 利用梯度预言机和函数评估计算影响得分，而无需重新训练模型。
• 将选择问题形式化为在候选训练点上的离散优化任务，使用SBQ来估计在测试分布下的期望影响。
• 提出SBQ在离散原子集合上的新收敛边界，实现更快且更可靠的收敛，并具备可证明的保证。
• 开发具有常数因子近似边界的SBQ可扩展变体，提升其在大规模数据集上的实际适用性。

实验结果

研究问题

• RQ1 如何以有理论依据且可扩展的方式，将基于影响的解释方法从单个测试预测扩展到整个预测集合？
• RQ2 在模型解释的背景下，SBQ应用于离散候选集合时的理论收敛行为如何？
• RQ3 Fisher核空间为何能比其他相似性度量更稳健、更有效地识别出有影响力的训练样本？
• RQ4 所提出的方法是否能在真实世界任务（如数据整理、错误标注检测与数据摘要）中超越现有基线方法？
• RQ5 影响函数与Fisher核之间关系的揭示，为模型可解释性与对抗鲁棒性提供了哪些新见解？

主要发现

• 所提方法在数据整理过程中修复错误标注样本时，始终优于基线方法（特别是最高自影响与随机选择），在更少的整理样本下实现了更高的测试准确率。
• 在ChemReact与CovType数据集上的数据摘要任务中，Fisher核 + SBQ方法在所有子集大小下均显著优于共集选择与随机采样，预测性能（以测试对数似然衡量）更优。
• 该方法将影响函数方法作为特例恢复，验证了其理论基础，并为基于影响的解释提供了新见解。
• 推导出SBQ在离散集合上的新收敛边界，实现了更快收敛，并支持具备可证明性能保证的更高效可扩展算法变体。
• 实证结果表明，该方法在多种实际应用场景中均有效，包括清洗训练数据、检测错误标注样本，以及对大规模数据集进行摘要，且性能下降极小。
• 结果表明Fisher核空间对稳健学习至关重要，该方法在多个数据集与任务中均展现出优越的泛化能力与可解释性。