[논문 리뷰] An Explainable Machine Learning-based Network Intrusion Detection System for Enabling Generalisability in Securing IoT Networks.

Mohanad Sarhan, Siamak Layeghy외 1명|arXiv (Cornell University)|2021. 04. 15.

Network Security and Intrusion Detection참고 문헌 10인용 수 16

한 줄 요약

이 논문은 CSE-CIC-IDS2018, BoT-IoT, ToN-IoT 세 개의 IoT 데이터셋을 대상으로 NetFlow 및 CICFlowMeter 기능 세트를 사용하여 설명 가능한 기계학습(XAI) 기반 네트워크 침입 탐지 시스템을 제안한다. NetFlow 기능이 모델의 일반화 능력과 탐지 정확도를 향상시키며, SHAP 값은 모델 결정을 설명하여 실세계 IoT 보안 구현에서 신뢰도와 해석 가능성 향상에 기여한다.

ABSTRACT

Machine Learning (ML)-based network intrusion detection systems bring many benefits for enhancing the security posture of an organisation. Many systems have been designed and developed in the research community, often achieving a perfect detection rate when evaluated using certain datasets. However, the high number of academic research has not translated into practical deployments. There are a number of causes behind the lack of production usage. This paper tightens the gap by evaluating the generalisability of a common feature set to different network environments and attack types. Therefore, two feature sets (NetFlow and CICFlowMeter) have been evaluated across three datasets, i.e. CSE-CIC-IDS2018, BoT-IoT, and ToN-IoT. The results showed that the NetFlow feature set enhances the two ML models' detection accuracy in detecting intrusions across different datasets. In addition, due to the complexity of the learning models, the SHAP, an explainable AI methodology, has been adopted to explain and interpret the classification decisions of two ML models. The Shapley values of the features have been analysed across multiple datasets to determine the influence contributed by each feature towards the final ML prediction.

연구 동기 및 목표

• 학술적 기계학습 기반 침입 탐지 시스템과 실세계 IoT 네트워크 구현 간 격차를 해소하기 위해.
• 다양한 IoT 네트워크 환경과 공격 유형에서 공통된 기능 세트(NetFlow 및 CICFlowMeter)의 일반화 능력을 평가하기 위해.
• SHAP를 통해 모델의 해석 가능성을 향상시켜 침입 탐지 결정에 대한 신뢰도와 투명도를 높이기 위해.
• 다양한 데이터셋 간 개별 기능이 모델 예측에 미치는 영향을 평가하기 위해.

제안 방법

• CSE-CIC-IDS2018, BoT-IoT, ToN-IoT와 같은 세 가지 다른 IoT 침입 탐지 데이터셋에서 NetFlow 및 CICFlowMeter 두 가지 기능 추출 방법을 평가하였다.
• 추출된 기능에 기반해 두 가지 기계학습 모델을 훈련하고, 데이터셋 간 탐지 정확도를 비교하였다.
• SHAP(SHapley Additive exPlanations)를 적용하여 기능 중요도 점수(샤플리 값)를 계산함으로써 모델 예측을 해석하였다.
• 모든 데이터셋에서 SHAP 값을 분석하여 각 기능이 최종 분류 결정에 기여하는 정도를 파악하였다.
• 교차 데이터셋 평가를 통해 모델의 일반화 능력과 분포 이탈에 대한 강건성을 측정하였다.
• 생산 환경 구현을 지원하기 위해 기능 수준의 해석 가능성을 중점으로 하였다.

실험 결과

연구 질문

• RQ1 NetFlow 및 CICFlowMeter 기능 세트는 다양한 IoT 네트워크 데이터셋에서 탐지 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ2 기능 세트 선택이 다양한 IoT 환경에서 기계학습 기반 침입 탐지 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ3 SHAP 분석을 통해 어떤 기능이 모델의 분류 결정에 가장 크게 기여하는가?
• RQ4 SHAP 기반의 설명 가능성은 실세계 IoT 네트워크에서 기계학습 기반 IDS의 신뢰성과 구현 가능성 향상에 기여하는가?

주요 결과

• NetFlow 기능 세트는 CICFlowMeter 대비 모든 세 가지 평가된 데이터셋(CSE-CIC-IDS2018, BoT-IoT, ToN-IoT)에서 일관되게 높은 탐지 정확도를 보였다.
• NetFlow 기능으로 훈련된 모델은 다양한 네트워크 조건과 공격 유형에서 더 뛰어난 일반화 능력을 보이며, 더 강력한 강건성을 나타내었다.
• SHAP 분석을 통해 특정 플로우 수준 기능(예: 지속 시간, 바이트 수, 패킷 수)이 모델 예측에 가장 큰 영향을 미쳤다.
• SHAP 값이 제공하는 해석 가능성은 모델의 투명성을 향상시켜 실질적인 생산 환경에서의 IoT 보안 시스템 구현 가능성을 높였다.
• 연구는 기능 세트 선택이 교차 데이터셋 평가에서 모델 성능과 일반화 능력에 크게 영향을 미친다는 것을 확인하였다.
• NetFlow 기능과 SHAP 설명 가능성의 조합은 IoT 네트워크에서 실용적이고 신뢰할 수 있는 기계학습 기반 침입 탐지로 향한 유망한 길을 제시한다.