[论文解读] Image Obfuscation for Privacy-Preserving Machine Learning

Mathilde Raynal, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Oct 20, 2020

Adversarial Robustness in Machine Learning参考文献 60被引用 10

一句话总结

本文提出了一种方法，通过使用与人类感知一致的图像质量度量（如 SSIM 和 HaarPSI）来定量衡量图像混淆技术中的视觉隐私，设定隐私阈值。结果表明，在最优混淆水平下，深度学习模型的准确率仅比原始数据低几个百分点，同时能有效抵御人工和基于 AI 的识别与重建攻击。

ABSTRACT

Privacy becomes a crucial issue when outsourcing the training of machine learning (ML) models to cloud-based platforms offering machine-learning services. While solutions based on cryptographic primitives have been developed, they incur a significant loss in accuracy or training efficiency, and require modifications to the backend architecture. A key challenge we tackle in this paper is the design of image obfuscation schemes that provide enough privacy without significantly degrading the accuracy of the ML model and the efficiency of the training process. In this endeavor, we address another challenge that has persisted so far: quantifying the degree of privacy provided by visual obfuscation mechanisms. We compare the ability of state-of-the-art full-reference quality metrics to concur with human subjects in terms of the degree of obfuscation introduced by a range of techniques. By relying on user surveys and two image datasets, we show that two existing image quality metrics are also well suited to measure the level of privacy in accordance with human subjects as well as AI-based recognition, and can therefore be used for quantifying privacy resulting from obfuscation. With the ability to quantify privacy, we show that we can provide adequate privacy protection to the training image set at the cost of only a few percentage points loss in accuracy.

研究动机与目标

• 解决图像混淆方案中视觉隐私缺乏可量化度量的问题。
• 评估全参考图像质量度量与人类对混淆感知的一致性。
• 建立图像退化程度的数值阈值，以确保隐私保护的同时保留模型效用。
• 评估混淆技术对基于深度学习的重建攻击的防护效果。
• 利用混淆数据优化深度学习模型训练中的隐私-效用权衡。

提出的方法

• 将 mixup 与既有的图像混淆技术（如模糊、像素化）结合，生成具有可控退化程度的多样化训练数据。
• 在两个图像数据集上开展用户调查，评估人类对不同混淆程度的感知。
• 将图像质量度量（SSIM、HaarPSI）与人类感知进行对比验证，识别出与隐私感知最一致的度量。
• 使用选定的度量（SSIM、HaarPSI）作为隐私量化工具，定义可接受图像退化的客观阈值。
• 通过 Google Vision AI 和基于深度学习的重建攻击（McPherson 等人）测试隐私保护的有效性。
• 在多种混淆方法中评估隐私-效用权衡，识别出噪声与混合为最优方案。

实验结果

研究问题

• RQ1 哪些全参考图像质量度量与人类对图像混淆的感知最相关？
• RQ2 图像质量度量能否客观用于量化混淆图像中的视觉隐私？
• RQ3 图像退化程度（以 SSIM 或 HaarPSI 衡量）达到何种水平时，图像将不再可被人类视觉识别？
• RQ4 混淆技术的选择如何影响在混淆数据上训练的深度学习模型的准确率？
• RQ5 混淆图像在多大程度上能抵抗人类观察者以及 Google Vision 等 AI 系统的识别？

主要发现

• SSIM 和 HaarPSI 在评估混淆程度时与人类感知最为一致。
• 在 SSIM 度量上约 0.4 的阈值被确定为足以使图像对人类不可识别，同时保留模型效用。
• 所提出的隐私量化方法在满足阈值时，成功将 Google Vision AI 对混淆图像的识别准确率降至接近零。
• 结合噪声与 mixup 的混淆技术实现了最佳隐私-效用权衡，模型准确率仅比非混淆数据低 2–3 个百分点。
• 采用最优隐私参数的混淆机制，将 McPherson 等人提出的基于深度学习的重建攻击成功率显著降低至 10% 以下。
• 本研究证实，图像质量度量可被重新用于作为可靠的隐私量化工具，实现对混淆程度的系统性评估与调优。