[论文解读] An Attack on InstaHide: Is Private Learning Possible with Instance Encoding?

Nicholas Carlini, Samuel Deng+7 more|arXiv (Cornell University)|Nov 10, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用 20

一句话总结

本文提出了一种实用的重建攻击，通过从编码输入中恢复出视觉上可识别的图像，打破了利用实例编码的隐私保护学习方法 InstaHide 的安全性。作者在 CIFAR-10、CIFAR-100 和 InstaHide 挑战赛数据集上展示了该攻击的有效性，并证明了通过任何实例编码协议实现基于不可区分性的隐私保护存在根本性障碍。

ABSTRACT

A learning algorithm is private if the produced model does not reveal (too much) about its training set. InstaHide [Huang, Song, Li, Arora, ICML'20] is a recent proposal that claims to preserve privacy by an encoding mechanism that modifies the inputs before being processed by the normal learner. We present a reconstruction attack on InstaHide that is able to use the encoded images to recover visually recognizable versions of the original images. Our attack is effective and efficient, and empirically breaks InstaHide on CIFAR-10, CIFAR-100, and the recently released InstaHide Challenge. We further formalize various privacy notions of learning through instance encoding and investigate the possibility of achieving these notions. We prove barriers against achieving (indistinguishability based notions of) privacy through any learning protocol that uses instance encoding.

研究动机与目标

• 调查 InstaHide 的安全性，这是一种声称通过输入编码实现隐私保护的学习算法。
• 评估实例编码在机器学习模型中是否能实现有意义的隐私保护。
• 为使用实例编码的学习协议中的不可区分性提出隐私概念的形式化。
• 确定是否通过实例编码协议实现私有学习在根本上是不可能的。

提出的方法

• 设计一种重建攻击，利用编码图像恢复出视觉上可识别的原始输入。
• 将该攻击应用于标准基准数据集：CIFAR-10、CIFAR-100 和 InstaHide 挑战赛数据集。
• 为学习协议中的实例编码形式化基于不可区分性的隐私概念。
• 证明理论障碍，表明任何实例编码协议都无法实现基于不可区分性的隐私保护。
• 通过实证评估证明该攻击在多个数据集和模型架构上的成功。

实验结果

研究问题

• RQ1 重建攻击能否从 InstaHide 编码输入中恢复出视觉上可识别的图像？
• RQ2 实例编码在多大程度上为机器学习模型提供了隐私保护？
• RQ3 通过实例编码实现基于不可区分性的隐私保护是否存在根本性的理论限制？
• RQ4 任何使用实例编码的学习协议能否满足强隐私保证？

主要发现

• 重建攻击在 CIFAR-10 和 CIFAR-100 上成功从 InstaHide 编码输入中恢复出视觉上可识别的图像。
• 该攻击打破了最近发布的 InstaHide 挑战赛数据集中 InstaHide 的隐私声明。
• 作者证明，任何使用实例编码的学习协议都无法实现基于不可区分性的隐私保护。
• 无论采用何种编码机制或模型架构，该理论障碍均成立。