[论文解读] InstaHide's Sample Complexity When Mixing Two Private Images

Baihe Huang, Zhao Song+4 more|arXiv (Cornell University)|Nov 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 4

一句话总结

本文提出了一种可证明安全的算法，在混合两个私有图像时恢复 InstaHide 中的所有私有图像，实现了最优样本复杂度 $\Omega(n_{\mathsf{priv}}\log n_{\mathsf{priv}}})$ 份样本。该文引入了一个统一的框架以分析 InstaHide 攻击，表明尽管 InstaHide 并非信息论安全，但在最坏情况假设下仍具有计算安全性。

ABSTRACT

Training neural networks usually require large numbers of sensitive training data, and how to protect the privacy of training data has thus become a critical topic in deep learning research. InstaHide is a state-of-the-art scheme to protect training data privacy with only minor effects on test accuracy, and its security has become a salient question. In this paper, we systematically study recent attacks on InstaHide and present a unified framework to understand and analyze these attacks. We find that existing attacks either do not have a provable guarantee or can only recover a single private image. On the current InstaHide challenge setup, where each InstaHide image is a mixture of two private images, we present a new algorithm to recover all the private images with a provable guarantee and optimal sample complexity. In addition, we also provide a computational hardness result on retrieving all InstaHide images. Our results demonstrate that InstaHide is not information-theoretically secure but computationally secure in the worst case, even when mixing two private images.

研究动机与目标

• 分析在混合两个私有图像时，恢复 InstaHide 中私有图像所需的样本复杂度。
• 设计一种可证明正确的算法，使用最少样本恢复所有私有图像。
• 建立一个统一的框架，用于比较现有 InstaHide 攻击方法，并识别其结构上的相似性与差异性。
• 证明核心恢复问题的计算困难性，表明在标准复杂性假设下，高效算法极不可能存在。

提出的方法

• 该算法通过测试所有可能的符号模式组合，求解涉及私有图像、公共图像以及符号翻转混合图像的方程组。
• 利用 $\ell_2$-回归估计每个像素的私有图像权重，同时受观测混合图像中符号一致性的约束。
• 关键步骤包括从混合数据中重构一条图，将攻击问题与图同构问题联系起来。
• 该方法系统性地检查 $m$ 个样本的所有 $2^m$ 种符号组合，以识别每个像素的一致解。
• 理论分析将带有隐藏符号的 $\ell_2$-回归问题简化为 MAX-CUT 问题，证明其为 NP-难问题。
• 该框架可通过将攻击分解为功能组件（如 Gram 矩阵估计和符号恢复）来实现对现有攻击的比较。

实验结果

研究问题

• RQ1 当两个私有图像被混合时，恢复所有私有图像所需的最少 InstaHide 样本数量是多少？
• RQ2 与先前理论界相比，所提出的算法在样本复杂度方面有何改进？
• RQ3 在 InstaHide 混合模型下，恢复私有图像的计算复杂度是多少？
• RQ4 核心恢复问题能否被约化为已知的难解问题（如 MAX-CUT）？
• RQ5 现有启发式攻击在结构和功能上与所提出的可证明方法相比如何？

主要发现

• 所提出的算法仅使用 $\Omega(n_{\mathsf{priv}}\log n_{\mathsf{priv}}})$ 份样本即可恢复所有私有图像，显著优于先前仅恢复单个图像所需 $n_{\mathsf{priv}}^{4/3}$ 份样本的界限。
• 样本复杂度在对数因子范围内达到最优，表明在当前设置下 InstaHide 并非信息论安全。
• 通过从 MAX-CUT 问题约化，核心恢复问题被证明为 NP-难问题，确立了其计算困难性。
• 该算法在 $n_{\mathsf{priv}}$ 上为指数时间，但在 $n_{\mathsf{pub}}$ 上为多项式时间，突显了样本效率与计算成本之间的权衡。
• 该框架揭示了现有攻击在结构上具有相似性，尤其体现在符号模式处理和 Gram 矩阵估计方式上。
• 在指数时间假设（ETH）下，恢复问题的亚指数时间算法无法实现常数因子近似，进一步强化了其计算安全性。