[논문 리뷰] Automated Big Traffic Analytics for Cyber Security

Yuantian Miao, Zichan Ruan외 4명|arXiv (Cornell University)|2018. 04. 24.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

이 논문은 통계적 플로우 기반 분류, 하이브리드 비지도 및 지도 학습, 상관 분석을 활용하여 실시간, 미지의, 효율적인 트래픽 분류 문제를 해결하기 위해 자동화된 대용량 트래픽 분석 프레임워크를 제안한다. 이 접근법은 분류기의 강건성 향상과 수동 간섭 감소를 통해 침입, 악성코드, 봇넷 탐지 능력을 향상시킨다.

ABSTRACT

Network traffic analytics technology is a cornerstone for cyber security systems. We demonstrate its use through three popular and contemporary cyber security applications in intrusion detection, malware analysis and botnet detection. However, automated traffic analytics faces the challenges raised by big traffic data. In terms of big data's three characteristics --- volume, variety and velocity, we review three state of the art techniques to mitigate the key challenges including real-time traffic classification, unknown traffic classification, and efficiency of classifiers. The new techniques using statistical features, unknown discovery and correlation analytics show promising potentials to deal with big traffic data. Readers are encouraged to devote to improving the performance and practicability of automatic traffic analytic in cyber security.

연구 동기 및 목표

• 대용량 트래픽 데이터가 있는 사이버 보안 분야에서의 도전 과제, 특히 볼륨, 다양성, 속도를 해결한다.
• 포트 기반 또는 페이로드 기반 접근 방식 대신 통계적 플로우 기반 방법을 활용하여 실시간 네트워크 트래픽 분류를 향상시킨다.
• 수동 레이블링에 의존도를 줄이기 위해 비지도 학습과 지도 학습을 융합하여 미지의 트래픽 클래스 탐지를 가능하게 한다.
• 다중 풀(예: 4-튜플 및 5-튜플) 플로우 특징을 사용한 상관 분석을 통해 악성 행동 패턴을 포착함으로써 분류기 성능을 향상시킨다.
• 훈련 데이터의 클래스 불균형 문제를 완화하여 소수의 악성 트래픽 클래스에 대한 탐지 정확도를 향상시킨다.

제안 방법

• 플로우 수준 특징(예: 패킷 수, 바이트 수, 지속 시간 등)을 기반으로 한 통계적 트래픽 분류를 사용하여 기계 학습 모델의 입력으로 활용한다.
• 비지도 학습(예: 클러스터링)을 통합하여 미지의 트래픽 클래스를 탐색하고, 지도 학습을 통해 최소한의 인간 입력으로 레이블링 및 분류를 수행한다.
• 플로우의 백에 포함된 서브백 생성을 통해 동일 사용자로부터의 플로우를 4-튜플(소스/대상 IP, 포트, 프로토콜)을 기반으로 그룹화하여 상관 모델링을 향상시킨다.
• 프로토콜를 포함한 5-튜플 특징을 사용한 상관 분석을 적용하여 악성 활동을 시사하는 행동 패턴을 탐지한다.
• 새로운 트래픽 패턴에 적응하고 업데이트된 데이터로 기존 클래스를 재학습하기 위해 분류기의 동적 재학습 메커니즘을 구현한다.
• 특히 BitTorrent와 같은 주요 클래스에 비해 희귀한 클래스인 RTSP와 같은 클래스의 분포를 균형 잡기 위해 전처리 기법을 제안한다.

실험 결과

연구 질문

• RQ1 고용량, 고속도의 데이터 스트림 환경에서 실시간 네트워크 트래픽 분류를 어떻게 효율적으로 달성할 수 있는가?
• RQ2 라벨이 부여된 데이터에만 의존하지 않고도 효과적으로 미지의 트래픽 클래스를 탐지할 수 있는 기법은 무엇인가?
• RQ3 네트워크 플로우 간의 상관관계는 사이버 보안 응용 분야에서 트래픽 분류의 정확도와 강건성 향상에 어떻게 기여하는가?
• RQ4 클래스 불균형은 분류기 성능에 어떤 영향을 미치며, 훈련 데이터에서 이를 어떻게 완화할 수 있는가?
• RQ5 자동화된 시스템은 어떻게 진화하는 사이버 위협에 대응하면서도 수동 레이블링 작업을 줄이고 높은 탐지 정확도를 유지할 수 있는가?

주요 결과

• 암호화된 트래픽이나 변동성이 큰 트래픽을 다룰 때 기존의 포트 기반 및 페이로드 기반 방법에 비해 통계 기반 플로우 분류가 대용량 환경에서 더 뛰어난 성능을 보인다.
• 비지도 학습과 지도 학습을 융합함으로써 수동으로 레이블링된 데이터에 의존도를 줄이고, 미지의 트래픽을 강건하게 탐지할 수 있다.
• 4-튜플 특징을 활용한 사용자 기반 플로우 그룹화를 통해 서브백 생성이 상관 모델링을 향상시켜 공동으로 작동하는 악성 행동을 탐지하는 데 기여한다.
• 프로토콜를 포함한 5-튜플 특징을 사용한 상관 분석은 공격의 행동 패턴을 포착함으로써 분류기 성능을 크게 향상시킨다.
• 클래스 불균형은 분류기 정확도에 심각한 영향을 미치며, RTSP와 같은 소수의 클래스는 BitTorrent와 같은 주요 클래스에 비해 훨씬 낮은 탐지율을 기록한다.
• 희귀하지만 중요한 악성 트래픽 유형의 탐지 성능 향상을 위해 훈련 데이터의 클래스 분포를 균형 잡는 전처리가 필수적이다.