[论文解读] Covert Channel Attack to Federated Learning Systems.

Gabriele Costa, Fabio Pinelli+2 more|arXiv (Cornell University)|Apr 21, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用 12

一句话总结

本文提出了一种在联邦学习（FL）系统中的隐蔽信道攻击，其中恶意客户端通过操纵模型更新以嵌入隐藏数据，实现隐蔽通信。通过以细微方式污染全局模型，使其产生难以察觉的变化，攻击者可实现每轮更新传输一位信息，仅合谋接收方可解码，且不会降低模型性能或引起怀疑。

ABSTRACT

Federated learning (FL) goes beyond traditional, centralized machine learning by distributing model training among a large collection of edge clients. These clients cooperatively train a global, e.g., cloud-hosted, model without disclosing their local, private training data. The global model is then shared among all the participants which use it for local predictions. In this paper, we put forward a novel attacker model aiming at turning FL systems into covert channels to implement a stealth communication infrastructure. The main intuition is that, during federated training, a malicious sender can poison the global model by submitting purposely crafted examples. Although the effect of the model poisoning is negligible to other participants, and does not alter the overall model performance, it can be observed by a malicious receiver and used to transmit a single bit.

研究动机与目标

• 探究联邦学习系统是否可被滥用于隐蔽通信通道。
• 设计一种模型污染技术，可在不影响模型准确率的情况下将隐藏数据嵌入全局模型更新中。
• 确保隐蔽传输对诚实参与者不可见，同时可被恶意接收方解码。
• 证明可利用联邦学习的信任机制实现隐蔽且持久的通信。

提出的方法

• 恶意发送方生成对抗性训练样本，以微妙方式改变全局模型，从而编码一位信息。
• 污染程度经过校准，对全局模型性能影响可忽略，确保其保持在可接受的准确率阈值内。
• 恶意接收方作为联邦学习系统的一部分，通过检测模型扰动的特定模式，监控全局模型更新并解码嵌入的位。
• 该攻击利用聚合过程中的固有信任机制，即所有客户端均被假定为诚实贡献。
• 该方法依赖于仅发送方和接收方知晓编码方案的事实，使通信对其他参与者不可见。
• 该攻击对常见防御具有鲁棒性，因为扰动微小且与正常训练噪声一致。

实验结果

研究问题

• RQ1 联邦学习系统是否可被重新用于隐蔽通信？
• RQ2 在不降低模型效用或引起怀疑的前提下，模型污染在多大程度上可用于嵌入数据？
• RQ3 恶意发送方与接收方如何协调以在每轮训练中传输一位信息？
• RQ4 在何种条件下，此类隐蔽信道对诚实客户端和系统监控者保持不可检测？

主要发现

• 所提出的攻击通过细微的模型污染，成功在每次全局模型更新中嵌入一位信息。
• 模型污染对全局模型性能的影响可忽略不计，准确率保持在可接受范围内。
• 仅恶意接收方可解码隐藏位，因为编码模式仅对攻击者对知晓。
• 该攻击对诚实客户端不可检测，因为扰动与正常训练波动无法区分。
• 隐蔽信道无需修改联邦学习系统的架构或协议。
• 该攻击表明，可利用聚合过程中的信任机制，实现隐蔽且持久的通信。