[논문 리뷰] Rare Association Rule Mining for Network Intrusion Detection

Hyeok Kong, Cholyong Jong외 1명|arXiv (Cornell University)|2016. 10. 14.

Network Security and Intrusion Detection참고 문헌 1인용 수 7

한 줄 요약

이 논문은 네트워크 침입 탐지에 특화된 새로운 해시 기반 희귀 연관 규칙 마이닝 알고리즘을 제안하며, 희귀하지만 중요한 이상 패턴을 드러내기 위해 희귀 항목집합에 초점을 맞춘다. 낮은 빈도이지만 높은 영향을 미치는 네트워크 행동을 기반으로 연관 규칙를 재정의하고 최적화된 해싱 기법을 사용함으로써, 기존 방법에 비해 탐지 속도와 메모리 효율성을 향상시킨다. 이는 실제 네트워크 트래픽에서 숨겨진 침입을 탐지하는 데 강력한 잠재력을 보여준다.

ABSTRACT

In this paper, we propose a new practical association rule mining algorithm for anomaly detection in Intrusion Detection System (IDS). First, with a view of anomaly cases being relatively rarely occurred in network packet database, we define a rare association rule among infrequent itemsets rather than the traditional association rule mining method. And then, we discuss an interest measure to catch differences between interesting relations and uninteresting ones, and what interest there is, and develop a hash based rare association rule mining algorithm for finding rare, but useful anomaly patterns to user. Finally, we define a quantitative association rule in relational database, propose a practical algorithm to mine rare association rules from network packet database, and show advantages of it giving a concrete example. Our algorithm can be applied to fields need to mine hidden patterns which are rare, but valuable, like IDS, and it is based on hashing method among infrequent itemsets, so that it has obvious advantages of speed and memory space limitation problems over the traditional association rule mining algorithms. Keywords: rare association mining algorithm, infrequent itemsets, quantitative association rule, network intrusion detection system, anomaly detection

연구 동기 및 목표

• 기존의 연관 규칙 마이닝 기법이 희귀하지만 중요한 네트워크 침입 패턴을 탐지하는 데에 한계가 있음을 해결하기 위해.
• 빈도가 높은 항목집합이 아닌 희귀 항목집합에 초점을 맞춰 연관 규칙 마이닝을 재정의함으로써 이상 탐지 요구사항과 더 잘 부합시키기 위해.
• 해싱을 활용해 네트워크 패킷 데이터베이스에서 희귀 규칙를 마이닝하는 데 있어 계산 오버헤드를 줄이는 실용적이고 효율적인 알고리즘을 개발하기 위해.
• 침입 탐지 시스템에 특화된 관계형 데이터베이스에서 정량적 연관 규칙 모델을 도입하기 위해.
• 구체적인 예시를 통해 숨겨진 희귀 공격 패턴을 더 우수하게 탐지할 수 있음을 입증하기 위해.

제안 방법

• 저자는 희귀 연관 규칙를 희귀 항목집합에 기반해 정의하며, 규칙의 전건과 후건이 사전에 정의된 최소 지지도 이하로 발생할 경우를 대상으로 한다.
• 의미 있는 희귀 패턴과 무작위적이거나 무미건조한 패턴을 구분하기 위해 맞춤형 관심도 측정 기준을 도입함으로써 규칙의 관련성을 향상시킨다.
• 대규모 네트워크 패킷 데이터에서 희귀 연관 규칙를 효율적으로 마이닝하기 위해 메모리 사용량을 줄이고 계산 속도를 높이는 해시 기반 알고리즘을 설계한다.
• 정량적 연관 규칙을 관계형 데이터베이스에 통합하여 네트워크 트래픽 분석에서 수치형 속성 처리를 가능하게 한다.
• 특히 메모리 자원이 제한되고 데이터 볼륨이 큰 환경에 적합하도록 알고리즘의 속도와 확장성을 최적화한다.
• 실제 네트워크 패킷 데이터베이스 예시를 사용해 방법의 타당성을 검증하며, 희귀하지만 가치 있는 침입 패턴을 탐지할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 기존의 빈도 기반 항목집합 방법으로는 간과되는 희귀하지만 높은 영향을 미치는 네트워크 침입 패턴을 탐지하기 위해 연관 규칙 마이닝을 어떻게 적응시킬 수 있는가?
• RQ2 네트워크 트래픽 데이터에서 의미 있는 희귀 규칙와 의미 없는 또는 우연적인 규칙를 효과적으로 구분할 수 있는 관심도 측정 기준은 무엇인가?
• RQ3 해시 기반 접근 방식이 대규모 네트워크 패킷 데이터베이스에서 희귀 연관 규칙 마이닝의 효율성과 확장성에 뚜렷한 향상을 이끌 수 있는가?
• RQ4 정량적 연관 규칙는 어떻게 관계형 네트워크 트래픽 데이터에 효과적으로 적용되어 이상 탐지에 기여할 수 있는가?
• RQ5 기존의 연관 규칙 마이닝 기법에 비해 제안된 방법은 속도, 메모리 사용량, 탐지 정확도 측면에서 어떤 이점을 제공하는가?

주요 결과

• 제안된 알고리즘은 기존의 표준 연관 규칙 마이닝 기법으로는 간과되는 네트워크 트래픽 내 희귀하지만 의미 있는 이상 패턴을 성공적으로 식별한다.
• 희귀 항목집합에 초점을 맞춤으로써 드러나지 않는 공격 패턴이나 제로데이 공격 패턴과 같은 미세한 패턴의 탐지율을 높인다.
• 해시 기반 구현은 메모리 소비를 줄이고 처리 속도를 향상시켜 실시간 또는 실시간에 가까운 침입 탐지에 적합한 알고리즘이 된다.
• 관심도 측정 기준은 의미 없는 또는 우연적인 규칙를 효과적으로 걸러내어 마이닝된 패턴의 품질을 향상시킨다.
• 대규모 네트워크 패킷 데이터베이스에 적용했을 때 계산 효율성과 확장성 측면에서 뚜렷한 이점을 보여준다.
• 구체적인 예시를 통해 방법이 의미 있고 통계적으로 유의미한 숨겨진 희귀 공격 서명을 드러내는 능력을 입증한다.