[논문 리뷰] Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach

Sayan Chatterjee, Manjesh K. Hanawal|arXiv (Cornell University)|2021. 06. 25.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 개인정보 보호를 위해 피어드 학습을 사용하는 IoT 보안을 위한 하이브리드 앙상블 침입 탐지 시스템(PHEC)을 제안하며, 레이블 노이즈에 강건한 노이즈 내성 변형(NT-PHEC)을 통해 노이즈에 대한 저항성을 향상시킨다. 이 방법은 KNN, 랜덤 포레스트, MLP 분류기를 가중치가 부여된 손실 함수와 함께 조합하여 높은 TPR과 낮은 FPR을 달성하며, 중앙집중식 및 피어드 환경에서 최신 기술보다 뛰어난 성능을 보인다 — 특히 노이즈가 있는 데이터에서 성능이 뛰어나다.

ABSTRACT

Critical role of Internet of Things (IoT) in various domains like smart city, healthcare, supply chain and transportation has made them the target of malicious attacks. Past works in this area focused on centralized Intrusion Detection System (IDS), assuming the existence of a central entity to perform data analysis and identify threats. However, such IDS may not always be feasible, mainly due to spread of data across multiple sources and gathering at central node can be costly. Also, the earlier works primarily focused on improving True Positive Rate (TPR) and ignored the False Positive Rate (FPR), which is also essential to avoid unnecessary downtime of the systems. In this paper, we first present an architecture for IDS based on hybrid ensemble model, named PHEC, which gives improved performance compared to state-of-the-art architectures. We then adapt this model to a federated learning framework that performs local training and aggregates only the model parameters. Next, we propose Noise-Tolerant PHEC in centralized and federated settings to address the label-noise problem. The proposed idea uses classifiers using weighted convex surrogate loss functions. Natural robustness of KNN classifier towards noisy data is also used in the proposed architecture. Experimental results on four benchmark datasets drawn from various security attacks show that our model achieves high TPR while keeping FPR low on noisy and clean data. Further, they also demonstrate that the hybrid ensemble models achieve performance in federated settings close to that of the centralized settings.

연구 동기 및 목표

• 데이터 중앙집중화로 인한 높은 통신 비용과 개인정보 우려 문제로 인해 기존 중앙집중식 침입 탐지 시스템(IDS)의 한계를 해결한다.
• 조정 가능한 임계값을 통해 높은 참양성비율(TPR)과 낮은 거짓양성비율(FPR)을 균형 있게 확보하는 하이브리드 앙상블 모델(PHEC)을 개발한다.
• 데이터 개인정보 보호를 유지하면서도 분산 학습이 가능한 피어드 학습 프레임워크에 PHEC를 적용한다.
• 레이블 노이즈 문제를 해결하기 위해 가중치가 부여된 볼록 대체 손실 함수와 KNN의 강건성을 활용한 노이즈 내성 PHEC(NT-PHEC)를 도입한다.
• 중앙집중식 및 피어드 환경에서 깨끗한 데이터와 노이즈가 있는 데이터 조건에서 기준 IoT 데이터셋을 대상으로 PHEC와 NT-PHEC의 성능을 평가한다.

제안 방법

• KNN과 랜덤 포레스트의 출력을 가중 평균으로 조합하는 확률적 하이브리드 앙상블 분류기(PHEC)를 설계하며, 최종 예측은 조정 가능한 임계값 γ에 기반한다.
• 비미분 가능 모델(KNN, RF)을 피어드 학습 환경에 적합하도록 다층퍼셉트론(MLP)으로 대체하여 국부적 학습과 파라미터 공유를 가능하게 함으로써 PHEC를 피어드 학습에 적용한다.
• 중앙집중식 및 피어드 환경 모두에서 잘못 레이블링된 데이터에 대한 민감도를 낮추기 위해 가중치가 부여된 볼록 대체 손실 함수를 사용하는 노이즈 내성 PHEC(NT-PHEC)를 도입한다.
• NT-PHEC에서 KNN 분류기를 K ≥ 5로 제약하여 KNN의 자연스러운 노이즈에 대한 강건성을 활용함으로써 잘못된 레이블에 대한 과적합을 줄인다.
• 피어드 학습에서 기기 간 모델 파라미터를 FedAvg를 통해 집계하며, 공유되는 MLP 가중치 덕분에 기울기 기반 최적화가 가능하다.
• 피어드 환경에서 복잡성을 줄이기 위해 NT-PHEC에서는 단일층 MLP를 사용하며, 깨끗한 데이터에서 더 나은 패턴을 포착하기 위해 PHEC는 여러 은닉층을 가진 깊은 MLP를 활용한다.

실험 결과

연구 질문

• RQ1 하이브리드 앙상블 모델이 IoT 침입 탐지에서 높은 TPR과 낮은 FPR 사이의 유리한 트레이드오���을 달성할 수 있으며, 이는 단일 하이퍼파라미터를 통해 조정 가능한가?
• RQ2 피어드 학습 환경에서 PHEC 모델의 성능이 중앙집중식 대안과 비교해 어떻게 되는가? 특히 탐지 정확도와 강건성 측면에서.
• RQ3 레이블 노이즈가 기존 앙상블 모델의 IoT IDS 성능에 얼마나 심각하게 악영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ4 제안된 노이즈 내성 PHEC(NT-PHEC)가 중앙집중식 및 피어드 환경 모두에서 표준 PHEC보다 노이즈가 있는 데이터셋에서 탐지 정확도를 크게 향상시키는가?
• RQ5 가중치가 부여된 볼록 대체 손실 함수와 KNN의 강건성을 활용하면, 실세계의 레이블 노이즈 조건에서 피어드 IoT 환경에서의 모델 일반화 능력이 향상되는가?

주요 결과

• 깨끗한 데이터에서, PHEC는 중앙집중식 및 피어드 환경 모두에서 NT-PHEC를 앞서며, 중앙집중식 환경에서 평균 정확도 차이가 2.1%이고, 피어드 환경에서는 4%이다. 이는 PHEC의 뛰어난 모델 유연성과 앙상블 성능 덕분이다.
• 노이즈가 있는 데이터에서, NT-PHEC는 PHEC를 크게 앞서며, 네 개의 데이터셋에서 평균 정확도 향상이 8.53%에 달하여 강력한 노이즈 내성 성능을 입증한다.
• 피어드 환경에서, NT-PHEC는 노이즈가 있는 데이터에서 PHEC보다 평균 정확도가 2.67% 높게 나타나, 분산된 노이즈 환경에서의 효과성을 확인한다.
• 20% 노이즈 조건에서 DS2OS 데이터셋을 대상으로, NT-PHEC는 피어드 환경에서 95.13%의 정확도를 기록했고, PHEC는 88.46%였으며, 이는 고노이즈 수준에서도 강건성을 입증한다.
• 20% 노이즈가 있는 가스 파이프라인 데이터셋에서, NT-PHEC는 중앙집중식 환경에서 92.74%의 정확도, 피어드 환경에서는 89.98%의 정확도를 기록하여, 다양한 환경 간 일관성 있는 성능을 보였다.
• 희귀 공격이 부족한 경우에도 제안된 NT-PHEC 모델은 높은 탐지 성능을 유지한다. 이는 노이즈에 강건한 학습 덕분에 피어드 평균화 과정이 편향을 줄이며 일반적인 공격 유형에 치우치지 않기 때문이다.