[논문 리뷰] Evaluation of Federated Learning in Phishing Email Detection

Chandra Thapa, Jun Tang외 6명|arXiv (Cornell University)|2020. 07. 27.

Spam and Phishing Detection인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 피싱 이메일 탐지에 대해 연합 학습(FL)을 평가한다—RNN 기반의 THEMIS와 BERT를 활용하여, 균형 잡힌 데이터 하에서 FL이 중심 집중 학습과 비교해 유사한 성능을 보이며, 고정된 데이터로 2개에서 10개의 기관으로 확장할 경우 정확도가 1.8% 감소함을 확인한다. 데이터가 확장될 경우 BERT는 정확도가 최대 +0.6% 향상되며, 극단적인 데이터 불균형은 성능을 저하시키며, 특히 THEMIS에 더 심각한 영향을 미친다.

ABSTRACT

The use of Artificial Intelligence (AI) to detect phishing emails is primarily dependent on large-scale centralized datasets, which opens it up to a myriad of privacy, trust, and legal issues. Moreover, organizations are loathed to share emails, given the risk of leakage of commercially sensitive information. So, it is uncommon to obtain sufficient emails to train a global AI model efficiently. Accordingly, privacy-preserving distributed and collaborative machine learning, particularly Federated Learning (FL), is a desideratum. Already prevalent in the healthcare sector, questions remain regarding the effectiveness and efficacy of FL-based phishing detection within the context of multi-organization collaborations. To the best of our knowledge, the work herein is the first to investigate the use of FL in email anti-phishing. This paper builds upon a deep neural network model, particularly RNN and BERT for phishing email detection. It analyzes the FL-entangled learning performance under various settings, including balanced and asymmetrical data distribution. Our results corroborate comparable performance statistics of FL in phishing email detection to centralized learning for balanced datasets, and low organization counts. Moreover, we observe a variation in performance when increasing organizational counts. For a fixed total email dataset, the global RNN based model suffers by a 1.8% accuracy drop when increasing organizational counts from 2 to 10. In contrast, BERT accuracy rises by 0.6% when going from 2 to 5 organizations. However, if we allow increasing the overall email dataset with the introduction of new organizations in the FL framework, the organizational level performance is improved by achieving a faster convergence speed. Besides, FL suffers in its overall global model performance due to highly unstable outputs if the email dataset distribution is highly asymmetric.

연구 동기 및 목표

• 다양한 기관 간 협업적 피싱 이메일 탐지에 대해 연합 학습(FL)의 타당성과 효과성을 조사하는 것.
• 데이터 불균형과 확장성과 같은 실제 제약 조건 하에서 최신 딥 러닝 모델—THEMIS(RNN 기반)와 BERT—를 사용한 FL 성능을 평가하는 것.
• 이메일 데이터 기밀성을 유지하면서도 중심 집중 학습과 비교해 탐지 정확도를 유사하게 달성할 수 있는지 평가하는 것.
• 데이터 분포의 편향과 클라이언트 수 증가가 FL 모델 수렴 및 성능에 미치는 영향을 분석하는 것.
• 모델 개인화, 데이터 이질성, 보안 위험과 같은 요소를 포함한 FL 도입 시 고려해야 할 과제를 식별하는 것.

제안 방법

• 원시 이메일 데이터를 공유하지 않고도 다수의 클라이언트 기관 간에 글로벌 모델을 집계하기 위해 연합 평균화(FedAvg)를 사용한다.
• 클라이언트의 분산된 이메일 데이터셋에서 RNN 기반의 THEMIS와 BERT를 포함한 두 가지 딥 러닝 모델을 FL 프레임워크 내에서 훈련한다.
• 클라이언트 간에 균형 잡힌 데이터와 극도로 비대칭적인 데이터 분포를 가진 두 가지 데이터 분포 설정에서 성능을 평가한다.
• 참여 기관 수(2~10개)가 변화할 때 모델 정확도, 수렴 속도, 일반화 능력을 측정한다.
• 새로운 클라이언트가 추가될 때 전체 데이터셋 크기가 증가함에 따라 클라이언트 수준 및 글로벌 모델 성능에 미치는 영향을 분 析한다.
• 극단적인 데이터 편향 하에서의 강건성과 모델 안정성, 수렴 행동을 평가한다.

실험 결과

연구 질문

• RQ1 연합 학습이 피싱 이메일 탐지에서 중심 집중 학습과 유사한 성능을 달성할 수 있는가?
• RQ2 클라이언트 기관 간의 데이터 불균형이 FL 기반 피싱 이메일 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 참여 기관 수가 증가할수록 FL에서 모델 정확도와 수렴 속도에 어떤 영향을 미치는가?
• RQ4 새로운 클라이언트가 추가되면서 전체 데이터셋 크기가 증가할 경우, 클라이언트 수준 및 글로벌 모델 성능이 향상되는가?
• RQ5 다른 딥 러닝 아키텍처(_THEMIS vs. BERT_)가 다양한 데이터 분포 하에서 FL 환경에서 어떻게 성능을 내는가?

주요 결과

• 데이터가 균형 잡혀 있고 기관 수가 적을 경우, FL이 중심 집중 학습과 유사한 성능을 달성한다.
• 고정된 전체 데이터셋 하에서 글로벌 RNN 기반 모델(THEMIS)은 기관 수를 2개에서 10개로 확장할 경우 정확도가 1.8% 감소한다.
• 데이터가 확장될 경우 BERT 정확도는 기관 수를 2개에서 5개로 늘릴 때 0.6% 향상되며, 증가하는 데이터 볼륨 하에서 더 나은 확장성을 보인다.
• 전체 데이터셋 크기가 새로운 클라이언트의 추가로 증가할 경우, 클라이언트 수준 성능이 향상되고 수렴 속도가 증가한다.
• 극도로 비대칭적인 데이터 분포는 불안정한 모델 출력을 초래하며, BERT는 극단적인 편향 하에서도 THEMIS보다 더 높은 강건성을 보인다.
• 클라이언트 수가 증가할수록 모델 개인화 효과가 악화되어 글로벌 모델 성능이 저하되고 로컬 정확도의 분산이 증가한다.