[논문 리뷰] Feature Analysis for ML-based IIoT Intrusion Detection.

Mohanad Sarhan, Siamak Layeghy외 1명|arXiv (Cornell University)|2021. 08. 29.

Network Security and Intrusion Detection참고 문헌 24인용 수 11

한 줄 요약

이 논문은 기계학습 기반 산업용 인터넷(IIoT) 침입 탐지에 최적의 특징 집합을 분석하기 위해, UNSW-NB15, CSE-CIC-IDS2018, ToN-IoT 데이터셋에서 네이티브 형식과 NetFlow 형식 모두에 대해 카이제곱, 정보 이득, 상관 기반 특징 선택을 평가한다. 이는 초기 특징 추가 시 탐지 정확도가 급격히 향상되지만 빠르게 수렴함을 보여주며, 자원 제약이 있는 IIoT 환경에서 계산 및 저장 비용을 크게 줄이면서도 거의 최적의 정확도를 유지할 수 있음을 시사한다.

ABSTRACT

Industrial Internet of Things (IIoT) networks have become an increasingly attractive target of cyberattacks. Powerful Machine Learning (ML) models have recently been adopted to implement Network Intrusion Detection Systems (NIDSs), which can protect IIoT networks. For the successful training of such ML models, it is important to select the right set of data features, which maximise the detection accuracy as well as computational efficiency. This paper provides an extensive analysis of the optimal feature sets in terms of the importance and predictive power of network attacks. Three feature selection algorithms; chi-square, information gain and correlation have been utilised to identify and rank data features. The features are fed into two ML classifiers; deep feed-forward and random forest, to measure their attack detection accuracy. The experimental evaluation considered three NIDS datasets: UNSW-NB15, CSE-CIC-IDS2018, and ToN-IoT in their proprietary flow format. In addition, the respective variants in NetFlow format were also considered, i.e., NF-UNSW-NB15, NF-CSE-CIC-IDS2018, and NF-ToN-IoT. The experimental evaluation explored the marginal benefit of adding features one-by-one. Our results show that the accuracy initially increases rapidly with the addition of features, but converges quickly to the maximum achievable detection accuracy. Our results demonstrate a significant potential of reducing the computational and storage cost of NIDS while maintaining near-optimal detection accuracy. This has particular relevance in IIoT systems, with typically limited computational and storage resource.

연구 동기 및 목표

• 기계학습을 활용한 IIoT 네트워크 침입 탐지에 있어 가장 중요하고 예측 가능한 특징을 규명하기 위해.
• 카이제곱, 정보 이득, 상관 관계 등의 다양한 특징 선택 알고리즘의 탐지 정확도에 미치는 영향을 평가하기 위해.
• 특징을 점진적으로 추가함에 따라 정확도와 효율성 측면에서의 여타 기여도를 평가하기 위해.
• 다양한 NIDS 데이터셋에서 네이티브 플로우 형식과 NetFlow 형식 모두에서 성능을 비교하기 위해.
• 계산 및 저장 오버헤드를 최소화하면서도 탐지 정확도를 손상시키지 않고 자원 효율적인 IIoT 시스템의 침입 탐지 구현을 가능하게 하기 위해.

제안 방법

• IIoT 네트워크 트래픽 데이터에서 가장 관련성이 높은 특징을 순위 매기고 선별하기 위해 카이제곱, 정보 이득, 상관 기반 특징 선택 알고리즘을 적용하였다.
• 선택된 특징을 두 가지 기계학습 분류기인 딥 피드포워드 신경망과 랜덤 포레스트에 입력하여 탐지 정확도를 평가하였다.
• 세 가지 NIDS 데이터셋인 UNSW-NB15, CSE-CIC-IDS2018, ToN-IoT에서 원본 플로우 형식과 NetFlow 형식 모두에 대해 실험을 수행하였다.
• 각 새로운 특징 추가 시 탐지 정확도 향상의 여타 기여도를 측정하기 위해 점진적 특징 추가를 수행하였다.
• 다양한 데이터 형식 간의 성능을 평가하여 데이터 표현 방식이 특징 유용성과 모델 효율성에 미치는 영향을 분석하였다.
• 특징 집합의 효과성 평가 및 수렴점 식별을 위해 정확도를 주요 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 카이제곱, 정보 이득, 상관 관계 중 어떤 특징 선택 방법이 IIoT 침입 탐지에서 가장 높은 정확도를 달성하는가?
• RQ2 특징을 점진적으로 추가함에 따라 탐지 정확도는 어떻게 변화하며, 어느 지점에서 수렴하는가?
• RQ3 네이티브 플로우 형식과 NetFlow 형식 간의 특징 유용성과 탐지 정확도 측면에서 성능 차이는 무엇인가?
• RQ4 소규모 특징 집합이 계산 및 저장 비용을 줄이면서도 거의 최적의 탐지 정확도를 유지할 수 있는가?
• RQ5 UNSW-NB15, CSE-CIC-IDS2018, ToN-IoT와 같은 다양한 IIoT NIDS 데이터셋 간 결과는 어떻게 다름이 있는가?

주요 결과

• 처음 몇 개의 특징을 추가할 때 탐지 정확도가 급격히 향상되지만, 빠르게 최대 달성 가능한 수준으로 수렴함을 보여주며, 특정 지점 이후에는 수익 감소 현상이 나타남을 시사한다.
• 특징 선택 알고리즘을 사용함으로써 정확도를 확보하기 위해 필요한 특징 수를 크게 줄여 모델 효율성을 향상시킴을 확인하였다.
• NetFlow 형식의 데이터는 침입 탐지에 충분한 예측 능력을 유지하며, 저장 및 전송 오버헤드를 줄일 수 있음에도 불구하고 주요 정확도 손실 없이 기능한다.
• 최적의 특징 집합은 각 데이터셋에 따라 다를 수 있지만, 소수의 특징 조합이 다양한 분류기에서 높은 탐지 정확도를 지속적으로 제공함을 확인하였다.
• 특징 추가의 여타 기여도는 매우 빠르게 감소함을 확인하여, 거의 최적의 성능을 달성하기 위해 신중하게 선별된 특징의 소수만으로도 충분함을 시사한다.
• 가장 정보성 높은 특징만 선택함으로써 계산 및 저장 비용을 크게 줄일 수 있으며, 이는 자원 제약이 있는 IIoT 환경에서 특히 유리하다.