[논문 리뷰] CELEST: Federated Learning for Globally Coordinated Threat Detection

Talha Ongun, Simona Boboila외 4명|arXiv (Cornell University)|2022. 05. 23.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

CELEST는 기관 간에 원시 데이터를 공유하지 않고도 글로벌하게 협력하는 프라이버시 보장형 HTTP 기반 사이버 위협 탐지가 가능한 피어드 학습 프레임워크이다. 활성 학습과 새로운 오염 방어 기법(DTrust)을 통합함으로써, 이전에 본 적이 없는 악성 소프트웨어에 대해 정밀도-재현율 AUC가 3배 향상되어 원시 데이터를 공유하지 않고도 새로운 위협을 조기에 탐지할 수 있다.

ABSTRACT

The cyber-threat landscape has evolved tremendously in recent years, with new threat variants emerging daily, and large-scale coordinated campaigns becoming more prevalent. In this study, we propose CELEST (CollaborativE LEarning for Scalable Threat detection, a federated machine learning framework for global threat detection over HTTP, which is one of the most commonly used protocols for malware dissemination and communication. CELEST leverages federated learning in order to collaboratively train a global model across multiple clients who keep their data locally, thus providing increased privacy and confidentiality assurances. Through a novel active learning component integrated with the federated learning technique, our system continuously discovers and learns the behavior of new, evolving, and globally-coordinated cyber threats. We show that CELEST is able to expose attacks that are largely invisible to individual organizations. For instance, in one challenging attack scenario with data exfiltration malware, the global model achieves a three-fold increase in Precision-Recall AUC compared to the local model. We also design a poisoning detection and mitigation method, DTrust, specifically designed for federated learning in the collaborative threat detection domain. DTrust successfully detects poisoning clients using the feedback from participating clients to investigate and remove them from the training process. We deploy CELEST on two university networks and show that it is able to detect the malicious HTTP communication with high precision and low false positive rates. Furthermore, during its deployment, CELEST detected a set of previously unknown 42 malicious URLs and 20 malicious domains in one day, which were confirmed to be malicious by VirusTotal.

연구 동기 및 목표

• 고립된 로컬 위협 탐지 시스템이 신규로 발생하는 글로벌로 조율된 사이버 위협을 탐지하지 못하는 한계를 해결하기 위해.
• 민감한 네트워크 데이터나 레이블을 공유하지 않고도 기관 간 위협 탐지 협업을 가능하게 하기 위해.
• 피어드 클라이언트로부터의 집단 지식을 활용하여 이전에 본 적이 없는 악성 소프트웨어를 탐지할 수 있도록 확장 가능한 프라이버시 보장 프레임워크를 개발하기 위해.
• 협업적 위협 탐지 환경에서 모델 오염 위험을 줄이기 위해 도메인 특화 방어 기법 DTrust를 설계하기 위해.

제안 방법

• CELEST는 모든 학습 데이터를 개별 네트워크 내부에 유지하면서도 다수의 클라이언트 간에 글로벌 신경망 모델을 훈련하기 위해 피어드 학습을 활용한다.
• 활성 학습 구성 요소는 각 클라이언트에서 비정상적인 네트워크 트래픽을 식별하고, 이를 레이블링하여 글로벌 훈련 세트에 추가함으로써 새로운 위협에 대한 탐지 능력을 향상시킨다.
• 각 클라이언트는 이상 탐지 모듈을 실행하여 의심스러운 HTTP 트래픽을 식별하고, 이를 수동 또는 자동으로 레이블링하기 위해 우선순위를 정하고 글로벌 모델에 피드백한다.
• DTrust는 피어드 학습 중 모델 업데이트의 신뢰성 여부를 평가함으로써 악성 또는 손상된 모델 업데이트를 탐지하고 걸러내는 새로운 오염 방어 기법이다.
• 글로벌 모델은 FedAvg 방식의 집합 기반으로 훈련되며, 클라이언트 간에 주기적으로 모델 가중치를 동기화하여 탐지 성능을 향상시킨다.
• 시스템은 두 곳의 대학 네트워크에 배포되었으며, 실제 HTTP 로그, 공개 악성 소프트웨어 데이터셋(Mirai, Gafgyt, 데이터 유출), 그리고 합성 공격 데이터를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 피어드 학습이 고립된 로컬 모델 대비 글로벌하게 조율된 HTTP 기반 악성 소프트웨어 탐지에 더 효과적인가?
• RQ2 활성 학습을 피어드 학습에 통합하여 대규모 레이블 없이도 이전에 본 적이 없는 악성 소프트웨어를 개선된 방식으로 탐지할 수 있는가?
• RQ3 DTrust와 같은 오염 방어 메커니즘이 협업적 위협 탐지 환경에서 모델 오염 공격을 효과적으로 탐지하고 완화할 수 있는가?
• RQ4 클라이언트 간 지식 공유가 훈련 중에 관찰되지 않은 신규 악성 소프트웨어에 대한 탐지 성능을 얼마나 향상시키는가?
• RQ5 실제 환경에서 낮은 잘못된 경고 비율과 높은 정밀도로 알려지지 않은 악성 URL과 도메인을 탐지하는 데 CELEST는 얼마나 잘 작동하는가?

주요 결과

• CELEST를 통해 훈련된 글로벌 모델은 데이터 유출 악성 소프트웨어 탐지 시 로컬 모델 대비 정밀도-재현율 AUC가 3배 향상되었다.
• 실제 운영 환경에서 CELEST는 단 하루 동안 42개의 이전에 알려지지 않은 악성 URL과 20개의 악성 도메인을 탐지했으며, 모두 VirusTotal에 의해 확인되었다.
• 활성 학습 통합 덕분에 글로벌 모델은 어느 클라이언트의 훈련 데이터에도 포함되지 않은 완전히 새로운 악성 소프트웨어 패밀리를 탐지할 수 있었다.
• DTrust는 피어드 학습 파이프라인에서 오염 공격를 성공적으로 탐지하고 완화하여 모델의 강건성을 향상시켰다.
• 모든 테스트된 악성 소프트웨어 패밀리(Mirai, Gafgyt, 데이터 유출 악성 소프트웨어 포함)에서 글로벌 모델은 로컬 모델을 능가하는 성능을 보였으며, 협업 학습의 가치를 입증했다.
• 생산 환경에서 CELEST는 낮은 잘못된 경고 비율과 높은 정밀도로 탐지 성능을 확보하여 실용적인 실외 배포에 적합함을 입증했다.