[論文レビュー] Evaluation of Federated Learning in Phishing Email Detection

Chandra Thapa, Jun Tang+6 more|arXiv (Cornell University)|Jul 27, 2020

Spam and Phishing Detection被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワーク—RNNベースのTHEMISおよびBERT—を用いたフェデレーテッドラーニング（FL）を、フィッシングメール検出に適用して評価している。データがバランスしている場合、FLは集中学習と同等の性能を達成するが、固定データのもとで組織数を2から10に拡大すると、精度が1.8%低下する。データ量が増加する状況では、BERTは精度が最大+0.6%向上する。一方、極端なデータの不均衡は性能を著しく低下させ、特にTHEMISに対して顕著である。

ABSTRACT

The use of Artificial Intelligence (AI) to detect phishing emails is primarily dependent on large-scale centralized datasets, which opens it up to a myriad of privacy, trust, and legal issues. Moreover, organizations are loathed to share emails, given the risk of leakage of commercially sensitive information. So, it is uncommon to obtain sufficient emails to train a global AI model efficiently. Accordingly, privacy-preserving distributed and collaborative machine learning, particularly Federated Learning (FL), is a desideratum. Already prevalent in the healthcare sector, questions remain regarding the effectiveness and efficacy of FL-based phishing detection within the context of multi-organization collaborations. To the best of our knowledge, the work herein is the first to investigate the use of FL in email anti-phishing. This paper builds upon a deep neural network model, particularly RNN and BERT for phishing email detection. It analyzes the FL-entangled learning performance under various settings, including balanced and asymmetrical data distribution. Our results corroborate comparable performance statistics of FL in phishing email detection to centralized learning for balanced datasets, and low organization counts. Moreover, we observe a variation in performance when increasing organizational counts. For a fixed total email dataset, the global RNN based model suffers by a 1.8% accuracy drop when increasing organizational counts from 2 to 10. In contrast, BERT accuracy rises by 0.6% when going from 2 to 5 organizations. However, if we allow increasing the overall email dataset with the introduction of new organizations in the FL framework, the organizational level performance is improved by achieving a faster convergence speed. Besides, FL suffers in its overall global model performance due to highly unstable outputs if the email dataset distribution is highly asymmetric.

研究の動機と目的

• 複数の組織間での共同フィッシングメール検出におけるフェデレーテッドラーニング（FL）の実現可能性と有効性を調査すること。
• データの不均衡やスケーラビリティといった現実世界の制約を想定した、最先端の深層学習モデル—THEMIS（RNNベース）およびBERT—を用いたFLの性能を評価すること。
• FLがメールデータの機微性を保ちながら、集中学習と同等の検出精度を達成できるかどうかを検証すること。
• データ分布の偏りとクライアント数の増加が、FLモデルの収束および性能に与える影響を分析すること。
• モデルのパーソナライゼーション、データの非同一性、セキュリティリスクといった、FLのフィッシング検出への導入における課題を同定すること。

提案手法

• フェデレーテッドアveraging（FedAvg）を用いて、生のメールデータを共有せずに複数のクライアント組織間でグローバルモデルを集約する。
• クライアントが分散したメールデータセット上で、FLフレームワーク内にRNNベースのTHEMISおよびBERTの2つの深層学習モデルを訓練する。
• クライアント間でデータがバランスしている場合と、極めて非対称な場合の2つのデータ分布設定を評価する。
• 参加組織数（2〜10）の変化に伴うモデルの精度、収束速度、一般化性能を測定する。
• 新規クライアントの追加に伴い全データセットサイズが増加する場合の、クライアントレベルおよびグローバルモデルの性能への影響を分析する。
• 極端なデータの偏り下でのロバストネスを評価し、モデルの安定性および収束行動を分析する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、フィッシングメール検出において集中学習と同等の性能を達成できるか？
• RQ2 クライアント組織間でのデータの不均衡は、FLベースのフィッシングメール検出モデルの性能にどのように影響するか？
• RQ3 参加組織数の増加は、FLにおけるモデルの精度および収束速度にどのように影響するか？
• RQ4 新規クライアントの追加に伴い全データセットサイズが拡大する場合、FLにおけるクライアントレベルおよびグローバルモデルの性能は向上するか？
• RQ5 異なる深層学習アーキテクチャ（THEMIS対BERT）は、変化するデータ分布下でFLにおいてどのように性能を発揮するか？

主な発見

• データがバランスしており、組織数が少ない場合、FLは集中学習と同等の性能を達成する。
• 全データ量が固定の状態で、組織数を2から10に拡大すると、グローバルなRNNベースのモデル（THEMIS）の精度が1.8%低下する。
• データ量が増加する状況では、BERTの精度が2から5組織に拡大する際、最大+0.6%向上し、増加するデータ量下での良好なスケーラビリティを示す。
• 全データセットが新規クライアントの追加に伴い拡大する場合、クライアントレベルの性能が向上し、収束速度も向上する。
• 極端に非対称なデータ分布は、モデル出力の不安定性を引き起こし、BERTはTHEMISに比べて極端な偏り下でもより高いロバストネスを示す。
• クライアント数が増えると、モデルパーソナライゼーションの影響が悪化し、グローバルモデルの性能が低下し、ローカル精度の分散が増加する。