[논문 리뷰] Studying the Robustness of Anti-adversarial Federated Learning Models Detecting Cyberattacks in IoT Spectrum Sensors

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán외 5명|arXiv (Cornell University)|2022. 01. 31.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 자원이 제한된 IoT 스펙트럼 센서에서 장치 행동 지문 기반으로 스펙트럼 감지 데이터 위조 공격(SSDF)을 탐지하기 위한 새로운 피어드 페더레이티드 러닝(FL) 프레임워크를 소개한다. 네 가지 집계 방법을 사용하여 데이터 및 모델 오염 공격 하에서 FL의 강건성을 평가하였으며, 절단 평균과 좌표별 중앙값이 강건성을 향상시키지만, 고율의 악성 참여자에 대해선 어느 방법도 완전한 강건성을 보장하지 못함을 확인하였다. 특히, 익명성 유지 환경에서는 이상 탐지 기법이 이진 분류보다 성능이 뛰어나다.

ABSTRACT

Device fingerprinting combined with Machine and Deep Learning (ML/DL) report promising performance when detecting cyberattacks targeting data managed by resource-constrained spectrum sensors. However, the amount of data needed to train models and the privacy concerns of such scenarios limit the applicability of centralized ML/DL-based approaches. Federated learning (FL) addresses these limitations by creating federated and privacy-preserving models. However, FL is vulnerable to malicious participants, and the impact of adversarial attacks on federated models detecting spectrum sensing data falsification (SSDF) attacks on spectrum sensors has not been studied. To address this challenge, the first contribution of this work is the creation of a novel dataset suitable for FL and modeling the behavior (usage of CPU, memory, or file system, among others) of resource-constrained spectrum sensors affected by different SSDF attacks. The second contribution is a pool of experiments analyzing and comparing the robustness of federated models according to i) three families of spectrum sensors, ii) eight SSDF attacks, iii) four scenarios dealing with unsupervised (anomaly detection) and supervised (binary classification) federated models, iv) up to 33% of malicious participants implementing data and model poisoning attacks, and v) four aggregation functions acting as anti-adversarial mechanisms to increase the models robustness.

연구 동기 및 목표

• 자원이 제한된 IoT 기기, 특히 스펙트럼 센서에서 행동 지문 기반의 FL 중심 데이터셋이 부족한 문제를 해결하기 위해.
• 감독학습(이진 분류)과 비감독학습(이상 탐지)을 모두 활용하여, FL 모델이 SSDF 공격을 탐지하는 성능을 평가하기 위해.
• 최대 33%의 악성 참여자 존재 조건에서 데이터 및 모델 오염 공격에 대한 FL 모델의 강건성을 평가하기 위해.
• FedAvg, 절단 평균, 좌표별 중앙값을 포함한 네 가지 집계 기능이 악성 공격에 대비하는 방식으로 효과적인지 비교하기 위해.
• 페더레이티드 러닝이 데이터 프라이버시를 유지하면서도 중심화된 딥 러닝 모델과 경쟁 가능한 탐지 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 세 대의 라즈베리 파이 가족을 사용하여 네 대의 ElectroSense 스펙트럼 센서의 정상 동작 및 SSDF 영향을 받은 동작을 기록한 공개 데이터셋을 구축함.
• 정상 동작 버전 두 종류와 SSDF 공격 변형 여덟 종류에서 총 75개의 내부 시스템 이벤트(CPU, 메모리, 네트워크, 파일 시스템)를 모니터링함.
• 이상 탐지용 두 가지, 이진 분류용 두 가지의 페더레이티드 러닝 시나리오를 설계하여, 프라이버시 보장 모델 집계를 포함한 FL을 적용함.
• 세 가지 악성 대비 집계 메커니즘(FedAvg, 절단 평균(두 가지 변형), 좌표별 중앙값)을 구현하여 오염 공격에 대비함.
• 라벨 뒤집기, 모델 취소, 무작위 업로드, 데이터 오염의 네 가지 공격 유형을 최대 33%의 악성 참여자 수를 변화시켜 평가함.
• F1 점수 및 AUC와 같은 지표를 사용하여, 주로 제로데이 공격 탐지 능력을 중시하여 FL과 중심화된 딥 러닝 기준 모델 간의 탐지 성능을 비교함.

실험 결과

연구 질문

• RQ1 자원이 제한된 스펙트럼 센서에서 장치 행동 지문 기반의 페더레이티드 러닝이 중심화된 딥 러닝 모델과 경쟁 가능한 탐지 성능을 달성할 수 있는가?
• RQ2 최대 33%의 악성 참여자가 존재할 경우, 데이터 및 모델 오염 공격 상황에서 페더레이티드 모델의 강건성은 어떻게 영향을 받는가?
• RQ3 FedAvg, 절단 평균, 좌표별 중앙값 중 어느 집계 기능이 FL 기반 SSDF 탐지에서 악성 공격에 가장 효과적인 방어를 제공하는가?
• RQ4 이상 탐지 기법이 페더레이티드 및 프라이버시 보장 환경에서 이진 분류 기법보다 강건성과 탐지 정확도 측면에서 뛰어나게 되는가?
• RQ5 악성 업데이트를 효과적으로 걸러내면서도 정상 참여자의 기여를 유지하는 데까지 얼마나 효과적인가? 악성 대비 집계 메커니즘의 성능은 어느 정도인가?

주요 결과

• 행동 지문 기반의 페더레이티드 러닝은 특히 이상 탐지 시나리오에서 중심화된 딥 러닝 모델과 경쟁 가능한 탐지 성능을 달성함.
• FedAvg 집계 방법은 오염 공격 하에서 매우 불안정하며, 악성 참여자로부터 유도된 극단적 값이 전역 모델 평균을 왜곡함.
• 절단 평균 집계는 FedAvg보다 더 뛰어난 강건성을 보이며, 일정 수준 이하의 공격자 비율에서는 극단적 값을 효과적으로 걸러내지만, 특히 RPi4 기기에서 유의미한 이점이 있음.
• 좌표별 중앙값은 극단적 값에 대해 강력한 내성성을 보이지만, 이질적인 피어드 환경에서는 안정성이 떨어지며, 특히 공격자 수가 적을 경우 문제가 됨.
• 라벨 뒤집기 및 모델 취소 공격 상황에서 절단 평균과 좌표별 중앙값은 FedAvg에 비해 성능 저하를 줄였지만, 정상 학습 수준에 비해 여전히 상당한 탐지 정확도 손실이 발생함.
• 이상 탐지 기법은 항상 페더레이티드 환경에서 이진 분류 기법보다 뛰어나며, 특히 프라이버시 제약 조건과 악성 조건 하에서도 제로데이 공격를 레이블 없는 데이터로 탐지할 수 있는 능력 덕분임.