[论文解读] Improving Robustness to Model Inversion Attacks via Mutual Information Regularization

Tianhao Wang, Yuheng Zhang+1 more|arXiv (Cornell University)|Sep 11, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 6

一句话总结

本文提出了一种基于互信息正则化的防御方法（MID），这是一种模型无关的方法，通过最小化模型输入与预测之间的互信息，降低模型反演（MI）攻击的成功率。MID在黑盒和白盒设置下，于线性模型、决策树和神经网络中均实现了最先进的实用-隐私权衡，优于差分隐私和模型特定的防御方法。

ABSTRACT

This paper studies defense mechanisms against model inversion (MI) attacks -- a type of privacy attacks aimed at inferring information about the training data distribution given the access to a target machine learning model. Existing defense mechanisms rely on model-specific heuristics or noise injection. While being able to mitigate attacks, existing methods significantly hinder model performance. There remains a question of how to design a defense mechanism that is applicable to a variety of models and achieves better utility-privacy tradeoff. In this paper, we propose the Mutual Information Regularization based Defense (MID) against MI attacks. The key idea is to limit the information about the model input contained in the prediction, thereby limiting the ability of an adversary to infer the private training attributes from the model prediction. Our defense principle is model-agnostic and we present tractable approximations to the regularizer for linear regression, decision trees, and neural networks, which have been successfully attacked by prior work if not attached with any defenses. We present a formal study of MI attacks by devising a rigorous game-based definition and quantifying the associated information leakage. Our theoretical analysis sheds light on the inefficacy of DP in defending against MI attacks, which has been empirically observed in several prior works. Our experiments demonstrate that MID leads to state-of-the-art performance for a variety of MI attacks, target models and datasets.

研究动机与目标

• 为解决当前缺乏可泛化且高实用性的模型反演（MI）攻击防御方法，以同时保护所有属性。
• 将MI攻击的分布隐私风险形式化，超越仅针对训练数据的范围，认识到对同分布测试数据的威胁。
• 解释尽管具有理论保证，为何差分隐私（DP）在实践中常无法有效防御MI攻击。
• 开发一种可计算的、模型无关的正则化方法，以提升鲁棒性而不牺牲模型实用性能。

提出的方法

• 在训练损失中引入互信息（MI）正则项，以最小化预测中所包含的关于模型输入的信息。
• 为线性回归、决策树和神经网络开发MI正则项的可计算近似方法，以实现实际部署。
• 提出基于博弈的MI攻击定义，以严格量化信息泄露并评估防御有效性。
• 使用变分推断和神经估计器来近似损失函数中难以计算的互信息项。
• 使用正则化损失训练模型，以降低输入与输出之间的相关性，从而限制攻击者的信息推断能力。
• 将该防御方法应用于白盒和黑盒MI攻击场景，在多个数据集和模型架构上评估其鲁棒性。

实验结果

研究问题

• RQ1 尽管差分隐私（DP）具有理论隐私保证，为何在实践中仍无法有效防御模型反演攻击？
• RQ2 能否设计一种模型无关的防御机制，在不降低模型实用性能的前提下提升对MI攻击的鲁棒性？
• RQ3 模型输入与预测之间的互信息与MI攻击成功率之间有何关系？
• RQ4 基于互信息的正则化方法在多大程度上能改善多种模型和数据集上的隐私-实用权衡？
• RQ5 MI攻击的隐私风险是否超出训练数据，扩展至同分布的测试数据？

主要发现

• MID在防御黑盒和白盒MI攻击方面显著优于差分隐私（DP），尤其是在保持高模型实用性能时。
• 对于神经网络，MID将白盒攻击（如GMI）中重建图像的质量降低至接近随机水平，而DP仍保留可识别的面部特征。
• 在决策树中，MID在大多数情况下优于模型特定的“Priority”防御方法，除非模型性能超过F1 > 0.57。
• MID比DP更有效地降低期望校准误差（ECE），表明在攻击下具有更好的置信度校准性能。
• 在MID和DP下，训练集和测试集上的攻击性能几乎相同，表明MI攻击威胁的是整个数据分布，而不仅限于训练样本。
• 理论分析证实，DP对MI攻击无效的根本原因在于：为实现隐私保护而引入的高斯噪声严重损害了模型的实用性能。