[논문 리뷰] Data Curation and Quality Assurance for Machine Learning-based Cyber Intrusion Detection

Haihua Chen, Ngan Tran외 3명|arXiv (Cornell University)|2021. 05. 20.

Network Security and Intrusion Detection참고 문헌 60인용 수 5

한 줄 요약

이 논문은 기계학습 기반 호스트 기반 침입 탐지의 성능 향상을 위해 데이터 중심적 접근을 제안하며, 데이터 품질과 그 영향을 체계적으로 평가한다. 11개의 HIDS 데이터셋과 10개의 모델(비트와 GPT-2 포함)을 사용하여, 특히 정확도, 일관성, 평판과 같은 데이터 품질이 탐지 성능에 크게 영향을 미친다는 것을 입증한다. 고품질 데이터를 사용할 경우 딥러닝 모델이 전통적 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Intrusion detection is an essential task in the cyber threat environment. Machine learning and deep learning techniques have been applied for intrusion detection. However, most of the existing research focuses on the model work but ignores the fact that poor data quality has a direct impact on the performance of a machine learning system. More attention should be paid to the data work when building a machine learning-based intrusion detection system. This article first summarizes existing machine learning-based intrusion detection systems and the datasets used for building these systems. Then the data preparation workflow and quality requirements for intrusion detection are discussed. To figure out how data and models affect machine learning performance, we conducted experiments on 11 HIDS datasets using seven machine learning models and three deep learning models. The experimental results show that BERT and GPT were the best algorithms for HIDS on all of the datasets. However, the performance on different datasets varies, indicating the differences between the data quality of these datasets. We then evaluate the data quality of the 11 datasets based on quality dimensions proposed in this paper to determine the best characteristics that a HIDS dataset should possess in order to yield the best possible result. This research initiates a data quality perspective for researchers and practitioners to improve the performance of machine learning-based intrusion detection.

연구 동기 및 목표

• 기계학습 기반 침입 탐지 시스템에서 데이터 품질의 부족한 평가받는 역할을 해결하기 위해.
• HIDS 시나리오에서 모델 성능에 가장 큰 영향을 미치는 데이터 품질 차원을 특정하기 위해.
• 여러 데이터셋과 모델을 통해 데이터 품질 지표와 기계학습 성능 간의 상관관계를 평가하기 위해.
• 더 높은 침입 탐지 정확도를 위해 데이터 품질 확보를 우선시하는 데이터 정제 프레임워크를 제안하기 위해.

제안 방법

• 11개의 공개 HIDS 데이터셋에 대한 체계적 검토를 통해 데이터 준비 워크플로우와 품질 속성을 분석한다.
• 모든 11개 데이터셋에 걸쳐 7개의 전통적 기계학습 모델과 3개의 딥러닝 모델(비트와 GPT-2 포함)을 적용하여 성능 변동성을 평가한다.
• 5개의 차원(평판, 정확도, 일관성, 완전성, 다양성)을 사용한 데이터 품질의 정량적 평가.
• 데이터셋의 클래스 불균형 문제를 해결하고 모델 일반화 능력을 향상시키기 위해 부트스트래핑 기법을 활용한다.
• 데이터 품질 점수와 모델 성능 간의 상관관계 분석을 통해 핵심 품질 동인을 규명한다.
• 미래의 데이터 품질 향상을 위한 지식 그래프와 전이 학습과 같은 외부 지식 소스 통합.

실험 결과

연구 질문

• RQ1 정확도, 일관성, 평판과 같은 데이터 품질 차원이 HIDS에서 기계학습 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 다양한 품질 수준의 HIDS 데이터셋에서 기계학습 및 딥러닝 모델 중 어떤 것이 가장 우수한 성능을 보이는가?
• RQ3 데이터 품질이 다양한 침입 탐지 데이터셋 간 성능 변동성에 얼마나 기여하는가?
• RQ4 부트스트래핑과 같은 데이터 품질 향상 기법이 클래스 불균형으로 인한 성능 저하를 완화할 수 있는가?
• RQ5 고성능 데이터 중심 침입 탐지 시스템을 구축하기 위해 가장 효과적인 데이터 정제 관행은 무엇인가?

주요 결과

• 비트와 GPT-2는 모든 11개의 HIDS 데이터셋에서 최고의 성능을 기록하여, 침입 탐지에서 문맥 기반 순서 모델링의 우수성을 입증했다.
• Synthetic Lpr, Live Lpr, Xlock, Live Named, Inetd, Stide 등의 데이터셋은 일관되게 다른 데이터셋보다 뛰어나, 더 높은 내재적 데이터 품질을 지닌 것으로 나타났다.
• 모델 간 성능 격차는 저품질 데이터셋에서 가장 두드러졌으며, 이는 데이터 품질이 핵심 제약 조건임을 확인한다.
• 평판, 정확도, 일관성이 높은 탐지 성능을 달성하는 데 가장 영향력 있는 데이터 품질 차원이었다.
• 클래스 불균형은 모델 성능을 심각하게 저하시켰지만, 부트스트래핑 기법은 모델의 강건성과 정확도를 효과적으로 향상시켰다.
• 라벨 노이즈, 중복, 완전하지 않은 특성 등의 데이터 품질 문제들이 퍼지게 존재했으며, 이는 모델 일반화 능력 저하와 직접적인 상관관계가 있었다.