[论文解读] Variational Bayesian Unlearning

Quoc Phong Nguyen, Bryan Kian Hsiang Low+1 more|arXiv (Cornell University)|Oct 24, 2020

Gaussian Processes and Bayesian Inference参考文献 31被引用 37

一句话总结

该论文通过在变分推断框架下使用证据上界（EUBO），最小化覆盖数据被删除后的后验与重新训练后的后验之间的KL散度，从而实现近似的贝叶斯“去学习”，并提出两条技巧来处理近似后验。

ABSTRACT

This paper studies the problem of approximately unlearning a Bayesian model from a small subset of the training data to be erased. We frame this problem as one of minimizing the Kullback-Leibler divergence between the approximate posterior belief of model parameters after directly unlearning from erased data vs. the exact posterior belief from retraining with remaining data. Using the variational inference (VI) framework, we show that it is equivalent to minimizing an evidence upper bound which trades off between fully unlearning from erased data vs. not entirely forgetting the posterior belief given the full data (i.e., including the remaining data); the latter prevents catastrophic unlearning that can render the model useless. In model training with VI, only an approximate (instead of exact) posterior belief given the full data can be obtained, which makes unlearning even more challenging. We propose two novel tricks to tackle this challenge. We empirically demonstrate our unlearning methods on Bayesian models such as sparse Gaussian process and logistic regression using synthetic and real-world datasets.

研究动机与目标

• 在数据隐私和恶意数据情形下，促使在贝叶斯模型中实现高效、近似的去学习的必要性。
• 将去学习框架定义为 erasured 数据后验与保留数据重新训练后的后验之间的 KL 发散最小化。
• 开发基于 VI 的过程，以在仅有近似后验时实现去学习。
• 提出两条技巧以在无法获得精确后验时稳定去学习：调整后的似然和反向KL。
• 在贝叶斯模型上展示方法，包括稀疏高斯过程和带有不同后验模型的逻辑回归。

提出的方法

• 将精确贝叶斯去学习表述为从 p(theta|D) 恢复 p(theta|Dr) 在给定 er De 的情况下。
• 显示最小化 KL[q_u(theta|Dr)||p(theta|Dr)] 等价于最小化一个证据上界 U，阐明去学习 erDe 与保留完整数据的信息之间的权衡。
• 引入两条应对近似后验的技巧： (i) 调整后的似然 p_adj(De|theta; lambda) 以降低在 q(theta|D) 低概率区域的权重，以及 (ii) 反向 KL 散度在没有调整后的似然时自然而然地限定去学习。
• 用 tilde p(theta|Dr) 近似 p(theta|Dr)，其与 q(theta|D) / p(De|theta) 成正比，并最小化相应的 EUBOs。
• 使用灵活的表示（如正则化流(normalizing flows)）对近似后验 q(theta|D) 进行建模；应用 VI 以最大化 ELBO 或其基于 VI 的变体。
• 在稀疏高斯过程分类和逻辑回归上进行实验，使用正则化流表示后验并评估预测分布之间的 KL 发散。

实验结果

研究问题

• RQ1 当仅有来自 VI 的近似后验可用时，如何高效地执行近似贝叶斯去学习？
• RQ2 基于 KL 的去学习（通过 EUBO）是否能在去除 er 数据影响的同时避免灾难性去学习？
• RQ3 调整后的似然和反向 KL 在近似后验下是否提供鲁棒的去学习？
• RQ4 去学习方法在不同贝叶斯模型（如稀疏 GP、逻辑回归）和不同的后验表示（如高斯、正则化流）上的表现如何？

主要发现

• 最小化 EUBO 等价于最小化未学习与完整数据后验之间的 KL，使去学习目标具有原理性。
• 调整后的似然和反向 KL 在无法获得精确后验时提高鲁棒性，聚焦于高概率区域的去学习。
• 去学习性能取决于 lambda 的选择和后验模型；过于激进的调整（小 lambda）在某些设置下可能导致灾难性去学习，而反向 KL 往往更稳定。
• 实验表明，基于 EUBO 的去学习可以在稀疏 GP 的合成月牙数据和带有逻辑回归的钞票认证数据中，减少 er 的区域的预测分布的 KL 发散，同时保持对剩余数据的性能。
• 正则化流使复杂后验的去学习变得有效，特别是在 VI 表示时高斯近似失败时。
• 在各实验中，去学习策略在 erasure 之后使后验/预测分布的 KL 发散更小，相较于基线的全数据预测，显示近似去学习的有效性。