[论文解读] Privacy-Preserving Image Classification in the Local Setting

Sen Wang, J. Morris Chang|arXiv (Cornell University)|Feb 9, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 6

一句话总结

本文提出了一种基于本地差分隐私（LDP）的隐私保护图像分类框架，通过随机化响应对图像表征进行扰动后传输给不可信用户。该框架引入了DCAConv，一种有监督的特征提取器，可实现可扩展的域大小，在多个基准测试中保持了强隐私保障下的高分类准确率。

ABSTRACT

Image data has been greatly produced by individuals and commercial vendors in the daily life, and it has been used across various domains, like advertising, medical and traffic analysis. Recently, image data also appears to be greatly important in social utility, like emergency response. However, the privacy concern becomes the biggest obstacle that prevents further exploration of image data, due to that the image could reveal sensitive information, like the personal identity and locations. The recent developed Local Differential Privacy (LDP) brings us a promising solution, which allows the data owners to randomly perturb their input to provide the plausible deniability of the data before releasing. In this paper, we consider a two-party image classification problem, in which data owners hold the image and the untrustworthy data user would like to fit a machine learning model with these images as input. To protect the image privacy, we propose to locally perturb the image representation before revealing to the data user. Subsequently, we analyze how the perturbation satisfies ε-LDP and affect the data utility regarding count-based and distance-based machine learning algorithm, and propose a supervised image feature extractor, DCAConv, which produces an image representation with scalable domain size. Our experiments show that DCAConv could maintain a high data utility while preserving the privacy regarding multiple image benchmark datasets.

研究动机与目标

• 为解决图像数据共享中的隐私泄露问题，特别是在紧急响应等敏感应用中。
• 在非交互式、本地差分隐私（LDP）环境下实现隐私保护的图像分类。
• 分析基于计数的分类器（如朴素贝叶斯）和基于距离的分类器（如KNN）在隐私（ε）与效用之间的权衡。
• 设计并评估DCAConv，一种支持LDP下可扩展域大小的有监督图像特征提取器。
• 在不同隐私约束下，通过真实世界图像数据集对框架进行实证验证。

提出的方法

• 在传输前对本地图像表征应用随机化响应，确保满足ε-LDP。
• 将图像分类建模为两方问题：拥有图像的数据所有者与不可信的数据用户。
• 分析在LDP下朴素贝叶斯和KNN分类器的效用损失，推导隐私-效用权衡的边界。
• 提出DCAConv，一种卷积神经网络，可学习紧凑且离散的图像表征，且域大小可调。
• 采用有监督训练目标，使特征表征在LDP下与下游分类效用对齐。
• 采用非交互式协议，每个数据所有者仅进行一次扰动，最大限度降低通信开销。

实验结果

研究问题

• RQ1 本地差分隐私（ε-LDP）对基于计数的分类器（如朴素贝叶斯）在图像分类中的性能有何影响？
• RQ2 隐私参数ε和域大小d对基于距离的分类器（如KNN）的效用有何影响？
• RQ3 有监督特征提取器是否能在保持隐私的前提下提升LDP下的分类效用？
• RQ4 图像表征的域大小如何影响LDP中的隐私-效用权衡？
• RQ5 DCAConv在真实世界图像基准测试中相较于标准特征提取方法，在LDP下表现如何？

主要发现

• 对于朴素贝叶斯，模型效用受限于LDP下频率估计的准确性，且随着ε增大而下降。
• 对于KNN，当ε ≥ ln(d + 1)时，测试样本与训练样本之间真实邻近关系被保留的概率超过1/2，其中d为域大小。
• DCAConv即使在强隐私约束（如ε = 1）下，也能在纹理和人脸图像数据集上实现高分类准确率。
• 所提出的框架在保持强隐私（ε-LDP）的同时实现了实用的分类性能，优于对原始像素的简单扰动方法。
• 实验结果证实，DCAConv在不牺牲分类效用的前提下实现了可扩展的域大小，适用于实际部署。
• 协议的非交互性相比迭代式、交互式LDP方法显著降低了通信成本，提升了可扩展性。