[论文解读] Towards Privacy-Preserving Person Re-identification via Person Identify Shift

Shuguang Dou, Xinyang Jiang+3 more|arXiv (Cornell University)|Jul 15, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出Person Identity Shift（PIS），一种用于行人重识别（ReID）的隐私保护去标识化方法，通过在潜在空间中将行人身份转换为新的虚构身份，同时保留图像对之间的相对身份关系。通过利用变分自编码器（VAE）在潜在空间中的插值，PIS在隐私保护与ReID性能之间实现了更优的权衡，优于现有的方法，包括DP-SGD和基于噪声的方法，在Market-1501和PCB数据集上表现更优。

ABSTRACT

Recently privacy concerns of person re-identification (ReID) raise more and more attention and preserving the privacy of the pedestrian images used by ReID methods become essential. De-identification (DeID) methods alleviate privacy issues by removing the identity-related of the ReID data. However, most of the existing DeID methods tend to remove all personal identity-related information and compromise the usability of de-identified data on the ReID task. In this paper, we aim to develop a technique that can achieve a good trade-off between privacy protection and data usability for person ReID. To achieve this, we propose a novel de-identification method designed explicitly for person ReID, named Person Identify Shift (PIS). PIS removes the absolute identity in a pedestrian image while preserving the identity relationship between image pairs. By exploiting the interpolation property of variational auto-encoder, PIS shifts each pedestrian image from the current identity to another with a new identity, resulting in images still preserving the relative identities. Experimental results show that our method has a better trade-off between privacy-preserving and model performance than existing de-identification methods and can defend against human and model attacks for data privacy.

研究动机与目标

• 为解决行人重识别（ReID）系统中隐私保护与数据可用性之间的平衡挑战。
• 开发一种去标识化方法，去除绝对身份信息，同时不损害ReID所必需的相对身份关系。
• 通过潜在空间中的身份转移对身份进行弱加密，实现受隐私约束的公共ReID数据集发布。
• 在保护模型性能的同时，抵御人类和基于模型的隐私攻击。
• 为差分隐私和直接数据混淆提供实用替代方案，同时保持高ReID实用性。

提出的方法

• PIS使用变分自编码器（VAE）在潜在空间中对源行人图像与参考图像进行插值，生成具有身份转移的新图像。
• 该方法应用潜在码的加权组合：$ z = \lambda z_{\text{ref}} + (1-\lambda) z_{\text{src}} $，其中 $ \lambda \in [0,1] $ 控制混合强度。
• 每张图像均被转换为新身份，同时保持类内相似性，确保原本属于同一身份的图像在身份转移后仍保持视觉相似。
• 该方法无需修改模型架构，与DP-SGD不同，也无需将BatchNorm层替换为GroupNorm。
• PIS生成人类可读、视觉上合理的图像，且与原始身份无直接关联，从而在不牺牲ReID实用性的情况下增强隐私保护。
• 通过目标实用性、隐私预算和PU-Score对方法进行评估，量化性能与隐私之间的权衡。

实验结果

研究问题

• RQ1 我们能否在去除绝对身份信息的同时，保留行人图像对之间的相对身份关系？
• RQ2 通过潜在空间插值实现的身份转移是否足以维持下游任务所需的ReID性能？
• RQ3 在隐私-实用性权衡方面，PIS与差分隐私（DP-SGD）和随机噪声注入相比表现如何？
• RQ4 PIS能否有效抵御人类和基于模型的隐私攻击？
• RQ5 PIS是否适用于当前因隐私顾虑而受限的公共ReID数据集？

主要发现

• 在PCB模型上，PIS的mAP达到47.9，Rank-1准确率为73.1，显著优于DP-SGD，后者在相同设置下仅取得4.5 mAP和17.6 Rank-1。
• 在ResNet-50上，PIS的mAP为46.5，Rank-1为67.0，而DP-SGD即使在高隐私预算（ε=50）下也未能收敛。
• PIS保持了较高的类内一致性，可视化对比显示，同一身份经身份转移后图像仍保持视觉相似。
• 在外观码中添加随机拉普拉斯噪声后，Rank-1准确率降至33.4%，远低于PIS的73.1%，表明PIS在实用性保护方面具有显著优势。
• PIS的PU-Score达到60.4，优于随机拉普拉斯噪声的45.4，证实其在隐私-实用性平衡方面表现更优。
• PIS使隐私敏感的ReID数据集在身份转移后具备公开发布的潜力，从而促进更广泛社区的使用。