[论文解读] Evaluation of Federated Learning in Phishing Email Detection

Chandra Thapa, Jun Tang+6 more|arXiv (Cornell University)|Jul 27, 2020

Spam and Phishing Detection被引用 5

一句话总结

本文评估了使用深度神经网络的联邦学习（FL）在钓鱼邮件检测中的应用——基于RNN的THEMIS和BERT模型。在数据均衡的情况下，FL的性能与集中式学习相当；然而，当组织数量从2个增加到10个且数据量固定时，准确率下降1.8%。当数据随组织数量增加时，BERT的准确率提升最高达+0.6%，显示出更好的可扩展性；而极端的数据不平衡会降低性能，尤其对THEMIS影响显著。

ABSTRACT

The use of Artificial Intelligence (AI) to detect phishing emails is primarily dependent on large-scale centralized datasets, which opens it up to a myriad of privacy, trust, and legal issues. Moreover, organizations are loathed to share emails, given the risk of leakage of commercially sensitive information. So, it is uncommon to obtain sufficient emails to train a global AI model efficiently. Accordingly, privacy-preserving distributed and collaborative machine learning, particularly Federated Learning (FL), is a desideratum. Already prevalent in the healthcare sector, questions remain regarding the effectiveness and efficacy of FL-based phishing detection within the context of multi-organization collaborations. To the best of our knowledge, the work herein is the first to investigate the use of FL in email anti-phishing. This paper builds upon a deep neural network model, particularly RNN and BERT for phishing email detection. It analyzes the FL-entangled learning performance under various settings, including balanced and asymmetrical data distribution. Our results corroborate comparable performance statistics of FL in phishing email detection to centralized learning for balanced datasets, and low organization counts. Moreover, we observe a variation in performance when increasing organizational counts. For a fixed total email dataset, the global RNN based model suffers by a 1.8% accuracy drop when increasing organizational counts from 2 to 10. In contrast, BERT accuracy rises by 0.6% when going from 2 to 5 organizations. However, if we allow increasing the overall email dataset with the introduction of new organizations in the FL framework, the organizational level performance is improved by achieving a faster convergence speed. Besides, FL suffers in its overall global model performance due to highly unstable outputs if the email dataset distribution is highly asymmetric.

研究动机与目标

• 探究联邦学习（FL）在多个组织间协作进行钓鱼邮件检测的可行性和有效性。
• 在真实世界约束（如数据不平衡和可扩展性）下，评估最先进的深度学习模型——THEMIS（基于RNN）和BERT——在FL中的性能表现。
• 评估FL是否能在保护邮件数据隐私的同时，实现与集中式学习相当的检测准确率。
• 分析数据分布偏移和客户端数量增加对FL模型收敛性和性能的影响。
• 识别FL在钓鱼邮件检测中部署的挑战，包括模型个性化、数据异构性以及安全风险。

提出的方法

• 采用联邦平均（FedAvg）算法在多个客户端组织之间聚合全局模型，而无需共享原始邮件数据。
• 在FL框架中，基于客户端分布的邮件数据集对两种深度学习模型——THEMIS（基于RNN）和BERT——进行训练。
• 在两种数据分布设置下评估性能：客户端间数据均衡和高度非对称。
• 测量在参与组织数量（2至10个）变化时的模型准确率、收敛速度和泛化能力。
• 分析随着新客户端加入导致总数据集规模扩大时，对客户端级和全局模型性能的影响。
• 评估在极端数据偏移下的鲁棒性，并分析模型稳定性和收敛行为。

实验结果

研究问题

• RQ1 联邦学习能否在钓鱼邮件检测中实现与集中式学习相当的检测性能？
• RQ2 客户端组织间的数据不平衡如何影响基于FL的钓鱼邮件检测模型性能？
• RQ3 参与组织数量的增加如何影响FL中的模型准确率和收敛速度？
• RQ4 随着新客户端的加入而扩大总数据集规模，是否能提升FL中客户端级和全局模型的性能？
• RQ5 在不同数据分布下，不同的深度学习架构（THEMIS与BERT）在FL中的表现如何？

主要发现

• 当数据均衡且组织数量较少时，FL的性能可与集中式学习相媲美。
• 在总数据量固定的情况下，全局RNN模型（THEMIS）在组织数量从2个增加到10个时，准确率下降1.8%。
• 当组织数量从2个增加到5个时，BERT的准确率提升最高达0.6%，表明在数据量增加时具有更好的可扩展性。
• 当总数据集随新客户端加入而扩大时，客户端级性能提升，收敛速度加快。
• 高度非对称的数据分布导致模型输出不稳定，BERT在极端偏移下表现出比THEMIS更强的鲁棒性。
• 随着客户端数量增加，模型个性化效应加剧，导致全局模型性能下降，并增加本地准确率的方差。