[论文解读] Evaluating Machine Unlearning via Epistemic Uncertainty

Alexander Becker, Thomas Liebig|arXiv (Cornell University)|Aug 23, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种基于认知不确定性的新颖机器遗忘评估指标，通过量化模型对敏感数据的遗忘程度，无需重新训练即可衡量遗忘效果。该指标具有坚实的理论基础，计算高效，并通过捕捉与遗忘相关的不确定性变化，在性能上优于对抗性攻击和重新训练的对比方法，尤其在模型向重新训练解更新时表现更优。

ABSTRACT

There has been a growing interest in Machine Unlearning recently, primarily due to legal requirements such as the General Data Protection Regulation (GDPR) and the California Consumer Privacy Act. Thus, multiple approaches were presented to remove the influence of specific target data points from a trained model. However, when evaluating the success of unlearning, current approaches either use adversarial attacks or compare their results to the optimal solution, which usually incorporates retraining from scratch. We argue that both ways are insufficient in practice. In this work, we present an evaluation metric for Machine Unlearning algorithms based on epistemic uncertainty. This is the first definition of a general evaluation metric for Machine Unlearning to our best knowledge.

研究动机与目标

• 解决机器遗忘算法缺乏通用、实用且理论可靠的评估指标的问题。
• 克服现有评估方法的局限性，例如依赖重新训练（在实际中不可行）或对抗性攻击（结果不明确且成本高昂）。
• 开发一种基于认知不确定性的指标，反映遗忘的认知与信息论原理。
• 提供该指标的计算高效上界，以支持在更大模型和数据集上的可扩展性。
• 通过多种遗忘方法的实证验证，评估该指标对参数更新方向的敏感性。

提出的方法

• 提出一种基于认知不确定性的有效性指标，通过测量模型对遗忘数据点置信度的降低来量化遗忘程度。
• 从信息论原理推导该指标，将不确定性降低与有效遗忘联系起来。
• 引入该指标的理论最优上界，保持不同遗忘比例下分布关系的完整性，从而实现更快的计算速度。
• 将该指标应用于三种遗忘方法：重新训练、Fisher 遗忘和遗忘性遗忘，比较其有效性。
• 使用成员身份推断攻击（MIAs）作为基准，验证该指标与实际遗忘成功程度的一致性。
• 采用对数-对数图分析有效性与 MIA 成功率之间的关系，揭示不同遗忘策略下模型的行为特征。

实验结果

研究问题

• RQ1 认知不确定性能否作为衡量机器遗忘成功与否的可靠且高效代理？
• RQ2 与对抗性评估和基于重新训练的基准相比，该指标在捕捉实际遗忘方面表现如何？
• RQ3 该指标的理论最优上界是否在不同遗忘水平下保持有意义的分布特性？
• RQ4 不同遗忘策略（如重新训练与参数向初始模型收敛）如何影响该指标的行为？
• RQ5 该有效性指标与成员身份推断攻击成功率之间是否存在一致关系？

主要发现

• 基于认知不确定性的有效性指标成功捕捉了遗忘行为，并与成员身份推断攻击的成功率相关，验证了其经验相关性。
• 该指标的理论最优上界保持了不同遗忘比例下有效性值的分布特性，实现了高效计算且不失保真度。
• 重新训练和 Fisher 遗忘的有效性随遗忘比例增加而下降，支持了‘向重新训练模型遗忘可提升性能’的假设。
• 遗忘性遗忘违反了上述两个假设，其有效性随遗忘数据点增多而上升，原因在于参数更新趋向初始模型而非重新训练模型。
• 研究结果表明，参数更新方向从根本上影响遗忘结果，意味着评估指标必须根据遗忘策略进行定制。
• 研究揭示，准确率下降和对抗性攻击失败是成功遗忘的必要但不充分指标，凸显了基于不确定性的指标的必要性。