[논문 리뷰] OCLEP+: One-class Anomaly and Intrusion Detection Using Minimal Length of Emerging Patterns

Guozhu Dong, Sai Kiran Pentukar|arXiv (Cornell University)|2018. 11. 24.

Network Security and Intrusion Detection참고 문헌 16인용 수 4

한 줄 요약

OCLEP+는 레이블이 없는 데이터에서 이상치를 식별하기 위해 최소 길이의 급격히 나타나는 패턴(MLEP)을 활용하는 일종의 이상 탐지 및 침입 탐지 방법이다. 정상 데이터에서 나타나는 가장 짧은 패턴을 분석함으로써 높은 정확도와 효율성으로 이상치를 탐지하며, 최소한의 계산 부담으로 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a method called One-class Classification using Length statistics of Emerging Patterns Plus (OCLEP+).

연구 동기 및 목표

• 학습 중에 정상 데이터만 이용 가능한 상황에서 일종의 이상 탐지 문제를 해결하기 위해.
• 정상 데이터에서 급격히 나타나는 패턴의 최소 길이에 초점을 맞춤으로써 탐지 정확도와 효율성을 향상시키기 위해.
• cybersecurity 애플리케이션에서 침입 탐지에 대해 확장 가능하고 해석 가능한 방법을 개발하기 위해.
• 복잡한 특징 공학이나 대규모 레이블이 있는 데이터셋에 대한 의존도를 줄이기 위해.
• 기존의 일종의 분류 기법들에 비해 경량이면서도 강력한 대안을 제공하기 위해.

제안 방법

• 정상 학습 데이터에서 급격히 나타나는 패턴을 추출하며, 특히 정상 데이터에는 나타나지만 비정상 데이터에는 나타나지 않는 최소 길이의 패턴(가장 짧은 패턴)에 초점을 맞춘다.
• 정상성의 통계적 측도로 최소 길이의 급격히 나타나는 패턴(MLEP)을 계산하며, 짧은 MLEP 값일수록 더 높은 정상성을 의미한다.
• 정상 데이터의 MLEP 분포에서 임계값을 학습하여 새로운 인스턴스를 정상 또는 비정상으로 분류한다.
• 순차적 또는 구조화된 데이터에서 빈번하고 급격히 나타나는 패턴을 효율적으로 추출하기 위해 패턴 성장 알고리즘을 사용한다.
• 길이 기반 통계를 적용하여 차원을 축소하고 노이즈 및 이방성에 대한 강건성을 향상시킨다.
• 계산 효율성이 뛰어나고, 네트워크 트래픽이나 시스템 로그와 같은 대규모 데이터에 대해 확장 가능한 방법으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 최소 길이의 급격히 나타나는 패턴가 일종의 이상 탐지에서 정상 행동을 효과적으로 표현할 수 있는가?
• RQ2 MLEP는 다른 패턴 기반 또는 통계 기반 방법과 비교해 이상 탐지에서 어떻게 성능을 내는가?
• RQ3 레이블이 없는 이상치가 없이도 최소한의 계산 비용으로 높은 탐지 정확도를 달성할 수 있는가?
• RQ4 실제 침입 탐지 환경에서 노이즈와 데이터 희소성에 대해 MLEP 기반 접근법은 얼마나 강건한가?
• RQ5 다양한 네트워크 및 시스템 로그 데이터셋 간에 이 방법은 어느 정도 일반화되는가?

주요 결과

• OCLEP+는 KDD Cup 1999 및 UNSW-NB15를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 탐지 정확도를 달성하며, 기존의 일종의 방법들을 능가한다.
• 높은 F1 점수와 AUC 값을 보이며, 침입 탐지 작업에서 기준 방법 대비 최대 12% 향상된 AUC 성능을 기록한다.
• 최소 길이의 급격히 나타나는 패턴에 초점을 맞춤으로써, 잘못된 경고(false positives)를 줄이고 미세한 이상을 더 잘 탐지한다.
• 계산 비용은 낮은 편을 유지하며, 딥러닝 기반 대안들보다 훨씬 빠른 학습 및 추론 시간을 기록한다.
• 네트워크 트래픽 및 시스템 호출 시퀀스와 같은 다양한 데이터 유형에 대해 강력한 일반화 성능를 보인다.
• MLEP 메트릭은 데이터 희소성과 노이즈에 강건하여, 정상 샘플 수가 제한된 경우에도 높은 탐지 성능를 유지한다.