[論文レビュー] CELEST: Federated Learning for Globally Coordinated Threat Detection

Talha Ongun, Simona Boboila+4 more|arXiv (Cornell University)|May 23, 2022

Network Security and Intrusion Detection被引用数 6

ひとこと要約

CELEST は、組織間で協働的かつプライバシーを守る形で、グローバルに一括された HTTP ベースのサイバー脅威を検出できるフェデレーテッドラーニングフレームワークである。アクティブラーニングと独創的なポイズニング防御（DTrust）を統合することで、以前に観測されていなかったマルウェアの PR-AUC が三倍向上し、生データを共有せずに新規脅威の早期検出を可能にする。

ABSTRACT

The cyber-threat landscape has evolved tremendously in recent years, with new threat variants emerging daily, and large-scale coordinated campaigns becoming more prevalent. In this study, we propose CELEST (CollaborativE LEarning for Scalable Threat detection, a federated machine learning framework for global threat detection over HTTP, which is one of the most commonly used protocols for malware dissemination and communication. CELEST leverages federated learning in order to collaboratively train a global model across multiple clients who keep their data locally, thus providing increased privacy and confidentiality assurances. Through a novel active learning component integrated with the federated learning technique, our system continuously discovers and learns the behavior of new, evolving, and globally-coordinated cyber threats. We show that CELEST is able to expose attacks that are largely invisible to individual organizations. For instance, in one challenging attack scenario with data exfiltration malware, the global model achieves a three-fold increase in Precision-Recall AUC compared to the local model. We also design a poisoning detection and mitigation method, DTrust, specifically designed for federated learning in the collaborative threat detection domain. DTrust successfully detects poisoning clients using the feedback from participating clients to investigate and remove them from the training process. We deploy CELEST on two university networks and show that it is able to detect the malicious HTTP communication with high precision and low false positive rates. Furthermore, during its deployment, CELEST detected a set of previously unknown 42 malicious URLs and 20 malicious domains in one day, which were confirmed to be malicious by VirusTotal.

研究の動機と目的

• 孤立したローカルな脅威検出システムが、新規でグローバルに一括されたサイバー脅威を検出できないという限界を是正すること。
• 機密なネットワークデータやラベルを共有せずに、組織間での脅威検出の協働を可能にすること。
• フェデレーテッドクライアントからの集団的知識を活用して、訓練中に観測されていなかったマルウェアを検出できるスケーラブルでプライバシーを守るフレームワークを開発すること。
• ドメイン特化型防御を設計することで、協働的脅威検出におけるモデルポイズニングのリスクを低減すること。

提案手法

• CELEST は、すべてのトレーニングデータを個々のネットワーク上にローカライズしたまま、複数のクライアント間でグローバルなニューラルネットワークモデルをトレーニングするフェデレーテッドラーニングを採用する。
• アクティブラーニングのコンponent は、各クライントで異常なネットワークトラフィックを特定し、ラベル付けされた後、グローバルトレーニングセットに追加されて新規脅威の検出を向上させる。
• 各クライアントは異常検出モジュールを実行し、不審な HTTP トラフィックを特定し、手動または自動ラベリングの優先順位を付け、グローバルモデルにフィードバックする。
• DTrust は、集約中に悪意のあるまたは破損したモデル更新を検出しフィルタリングすることで、信頼性を評価する新規なポイズニング防御である。
• グローバルモデルは、FedAvg スタイルの集約を用いてトレーニングされ、クライアント間でのモデル重みの定期的な同期により、検出性能を向上させる。
• システムは2つの大学ネットワークにデプロイされ、実際の HTTP ログ、公開のマルウェアデータセット（Mirai、Gafgyt、データ漏洩）、および合成攻撃データを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、孤立してトレーニングされたローカルモデルと比較して、グローバルに一括された HTTP ベースのマルウェアをより効果的に検出できるか？
• RQ2 スケールの大きなラベルなしデータを必要とせずに、アクティブラーニングをフェデレーテッドラーニングに統合することで、以前に観測されていなかったマルウェアの検出をどのように向上させられるか？
• RQ3 DTrust のようなポイズニング防御機構は、協働的脅威検出環境において、モデルポイズニング攻撃を効果的に検出し、緩和できるか？
• RQ4 クライアント間での知識の共有は、訓練中に観測されていなかった新規マルウェアの検出性能をどの程度向上させるか？
• RQ5 CELEST は、偽陽性率が低く、未知の悪意ある URL やドメインを高精度で検出できる実世界でのデプロイにおいて、どの程度の性能を示すか？

主な発見

• CELEST を用いてトレーニングされたグローバルモデルは、データ漏洩マルウェアを検出する際、ローカルモデルと比較して、精度再現AUCが三倍向上した。
• 実世界でのデプロイにおいて、CELEST は1日で以前に知られていなかった42の悪意あるURLと20の悪意あるドメインを検出したが、いずれも VirusTotal で確認された。
• アクティブラーニングの統合により、グローバルモデルは、いかなるクライアントのトレーニングデータにも存在しなかった完全に新しいマルウェアファミリーを検出できた。
• DTrust は、フェデレーテッドラーニングパイプライン内でポイズニング攻撃を効果的に特定・緩和し、モデルの耐性強化に貢献した。
• グローバルモデルは、Mirai、Gafgyt、データ漏洩マルウェアを含む、すべてのテスト対象マルウェアファミリーにおいてローカルモデルを上回る性能を示し、協働学習の価値を実証した。
• CELEST は、実運用環境で高い検出精度と低い偽陽性率を達成しており、実世界へのデプロイの実用性が裏付けられた。