[论文解读] Manipulating Visually-aware Federated Recommender Systems and Its Countermeasures

Wei Yuan, Shilong Yuan+3 more|arXiv (Cornell University)|May 14, 2023

Mental Health via WritingPsychology被引用 3

一句话总结

本文提出 PSMU(V)，一种新型图像投毒攻击，通过微妙地修改上传图像来操纵视觉感知联邦推荐系统，以提升目标项目；同时提出一种基于扩散模型的防御机制（GDMPD），可净化并检测对抗性图像。该防御机制实现100%检测准确率且无误报，有效中和了图像投毒与模型投毒攻击。

ABSTRACT

Federated recommender systems (FedRecs) have been widely explored recently due to their ability to protect user data privacy. In FedRecs, a central server collaboratively learns recommendation models by sharing model public parameters with clients, thereby offering a privacy-preserving solution. Unfortunately, the exposure of model parameters leaves a backdoor for adversaries to manipulate FedRecs. Existing works about FedRec security already reveal that items can easily be promoted by malicious users via model poisoning attacks, but all of them mainly focus on FedRecs with only collaborative information (i.e., user-item interactions). We argue that these attacks are effective because of the data sparsity of collaborative signals. In practice, auxiliary information, such as products' visual descriptions, is used to alleviate collaborative filtering data's sparsity. Therefore, when incorporating visual information in FedRecs, all existing model poisoning attacks' effectiveness becomes questionable. In this paper, we conduct extensive experiments to verify that incorporating visual information can beat existing state-of-the-art attacks in reasonable settings. However, since visual information is usually provided by external sources, simply including it will create new security problems. Specifically, we propose a new kind of poisoning attack for visually-aware FedRecs, namely image poisoning attacks, where adversaries can gradually modify the uploaded image to manipulate item ranks during FedRecs' training process. Furthermore, we reveal that the potential collaboration between image poisoning attacks and model poisoning attacks will make visually-aware FedRecs more vulnerable to being manipulated. To safely use visual information, we employ a diffusion model in visually-aware FedRecs to purify each uploaded image and detect the adversarial images.

研究动机与目标

• 探究在联邦推荐系统（FedRecs）中引入视觉信息是否能有效缓解依赖数据稀疏性的现有模型投毒攻击。
• 识别在视觉感知联邦推荐系统中因引入外部视觉数据而产生的新型安全漏洞，特别是通过图像投毒攻击引入的威胁。
• 设计一种鲁棒的、无需训练的防御机制，能够净化并检测视觉感知联邦推荐系统中的对抗性图像。
• 评估图像投毒与模型投毒攻击之间的协同效应，揭示多模态联邦推荐系统中威胁面的扩大。
• 在真实世界数据集和多种联邦推荐架构上，验证所提攻击与防御框架的有效性与泛化能力。

提出的方法

• 提出 PSMU(V)，一种新型图像投毒攻击，通过逐步修改上传图像，在联邦训练过程中操纵项目排名。
• 采用去噪扩散概率模型（DDPM）作为核心净化机制，将对抗性图像恢复至原始形态。
• 在扩散模型中引入引导机制，提升原始图像与净化后图像之间的保真度与一致性。
• 开发一种无需训练的检测方法，基于原始图像与净化后图像之间的余弦相似度，使用从正常图像相似度得分中推导出的阈值 ρ 进行判断。
• 利用 Brisque 与模糊度得分的标准差评估图像质量偏差，验证攻击的隐蔽性。
• 采用联合攻击框架，将 PSMU(V) 与现有模型投毒攻击（如 PSMU++）结合，以增强操纵效果。

实验结果

研究问题

• RQ1 在 FedRecs 中引入视觉信息是否能有效中和依赖协同数据稀疏性的现有模型投毒攻击？
• RQ2 在视觉感知 FedRecs 中使用外部视觉数据会引入何种新型攻击面？
• RQ3 基于扩散模型的净化机制在检测与清除 FedRecs 中的对抗性图像方面效果如何？
• RQ4 能否将图像投毒攻击与模型投毒攻击结合，以形成更强大且隐蔽的威胁？
• RQ5 所提防御机制在不同扰动尺度（ε）与真实世界数据分布下的鲁棒性如何？

主要发现

• 如 PSMU++ 等现有模型投毒攻击在视觉感知 FedRecs 中无法有效提升目标项目排名，因为视觉信号有效缓解了数据稀疏性问题。
• 所提出的 PSMU(V) 图像投毒攻击在 ML 与 AZ 数据集上均实现 100% 的有效性（ER@5 = 1.0），即使在高扰动尺度（ε = 32）下依然有效。
• 当应用 GDMPD 防御机制时，ER@5 降低至 0.0，表明在所有测试的 ε 值下均完全中和了攻击。
• 检测机制在使用 ρ = ρ₀（正常图像的最小相似度得分）时达到 72% 准确率，且在正常图像上无误报。
• 最佳检测阈值 ρ₁ = 0.69 可实现 100% 准确率，证实了该方法在最优参数调优下的可行性。
• 可视化结果表明，扩散模型能有效去除高尺度噪声（ε = 16, 32），且引导版本相比非引导净化显著提升了图像保真度。