[논문 리뷰] Learning detectors of malicious web requests for intrusion detection in network traffic

Lukáš Machlica, Karel Bartoš외 1명|arXiv (Cornell University)|2017. 02. 08.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

이 논문은 서명, DNS, 또는 콘텐츠 분석에 의존하지 않고 프록시 로그에서 추출한 통계적 특징을 사용하여 악성 웹 트래픽을 탐지하는 확장 가능하고 학습 기반의 시스템을 제안한다. 이는 C&C, 피싱, 클릭 프라우드와 같은 악성 통신을 고정밀도로 식별할 수 있게 하며, 실제 기업 환경의 트래픽에서 악성 흐름, URL, 감염된 호스트를 모두 95% 이상의 정밀도로 탐지한다.

ABSTRACT

This paper proposes a generic classification system designed to detect security threats based on the behavior of malware samples. The system relies on statistical features computed from proxy log fields to train detectors using a database of malware samples. The behavior detectors serve as basic reusable building blocks of the multi-level detection architecture. The detectors identify malicious communication exploiting encrypted URL strings and domains generated by a Domain Generation Algorithm (DGA) which are frequently used in Command and Control (C&C), phishing, and click fraud. Surprisingly, very precise detectors can be built given only a limited amount of information extracted from a single proxy log. This way, the computational requirements of the detectors are kept low which allows for deployment on a wide range of security devices and without depending on traffic context such as DNS logs, Whois records, webpage content, etc. Results on several weeks of live traffic from 100+ companies having 350k+ hosts show correct detection with a precision exceeding 95% of malicious flows, 95% of malicious URLs and 90% of infected hosts. In addition, a comparison with a signature and rule-based solution shows that our system is able to detect significant amount of new threats.

연구 동기 및 목표

• 다양한 형태로 변형되거나 0일 공격을 위한 서명 기반 및 규칙 기반 시스템의 한계를 해결한다.
• 완전한 트래픽 컨텍스트가 필요 없이 최소한의 프록시 로그 데이터에서 악성 행동을 식별할 수 있는 일반적이고 재사용 가능한 탐지 아키텍처를 개발한다.
• 단일 프록시 로그 항목에서 유도된 압축된 행동 불변 특징을 기반으로 훈련하여 암호화되거나 가로채기 쉬운 URL(예: DGA에서 생성된 도메인 포함)을 고정밀도로 탐지할 수 있도록 한다.
• 단일 프록시 로그 항목에서 유도된 압축된 행동 불변 특징을 기반으로 훈련하여 오류 경고를 줄이고 계산 오버헤드를 감소시킨다.
• 전체 시스템 재훈련 없이도 개별 탐지기를 소량의 새로운 샘플로 증분 재훈련할 수 있도록 하여 새로운 위협에 신속하게 대응할 수 있도록 한다.

제안 방법

• URL 경로, 쿼리, 도메인 등의 프록시 로그 필드에서 문자 빈도, n-gram 분포, 엔트로피, 특수 문자 비율 등의 통계적 특징을 추출한다.
• 라벨이 부여된 악성 통신 샘플 데이터셋을 기반으로 랜덤 포레스트 분류기를 훈련하여 악성 패tern(예: DGA로 생성된 도메인, 암호화된 URL 포함)을 탐지한다.
• 각 탐지기가 특정 악성 행동(예: C&C, 피싱)에 특화된 다수의 수준으로 구성된 탐지기 계층을 설계하여 정밀도를 높이고 오류 경고를 줄인다.
• DNS, WHOIS, 또는 웹페이지 콘텐츠를 제외한 프록시 로그 데이터만을 사용하여 계산 비용을 낮추고 보다 넓은 보안 장치 환경에서의 구현 가능성을 확보한다.
• 작은 새 샘플 세트를 사용해 개별 탐지기를 증분 재훈련할 수 있도록 하여 새로운 위협에 신속하게 대응할 수 있도록 한다.
• 기존의 침입 탐지 시스템과 통합하여 프록시 로그 기반 특징과 컨텍스트 기반 트래픽 분석을 조합함으로써 탐지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 암호화되거나 DGA로 생성된 도메인을 사용하는 악성 웹 트래픽을 프록시 로그에서 추출한 통계적 특징만으로도 고정밀도로 탐지할 수 있는가?
• RQ2 특정 악성 행위에 특화되지 않은 일반적인 특징을 사용하는 학습 기반 시스템이 서명 기반 접근 방식에 비해 0일 또는 다형성 악성 소프트웨어 탐지에 얼마나 효과적인가?
• RQ3 외부 컨텍스트 없이 프록시 로그에서 유도된 제한된 훈련 데이터만으로도 탐지기 성능을 유지하고 향상시킬 수 있는가?
• RQ4 모듈러하고 다수 수준의 탐지기 아키텍처는 클러스터링 기반 또는 컨텍스트 중심 탐지 방법에 비해 오류 경고를 줄이고 계산 효율성을 높일 수 있는가?
• RQ5 개별 탐지기의 재훈련 능력이 새로운, 이전에 보지 못한 악성 행동에 대한 확장성과 적응성에 어떻게 기여하는가?

주요 결과

• 실제 엔터프라이즈 트래픽에서 악성 네트워크 흐름, 악성 URL, 감염된 호스트를 모두 95% 이상의 정밀도로 탐지하였다.
• 감염된 호스트의 90% 이상이 프록시 로그 특징만으로 정확히 식별되었으며, 이는 대규모 환경에서 강력한 탐지 능력을 보여준다.
• DNS 로그, WHOIS 데이터, 도메인 명성 피드에 의존하지 않고도 DGA로 생성된 도메인을 고정밀도로 탐지하였다.
• 프록시 로그에서 유도된 통계적 특징을 활용해 C&C, 피싱, 클릭 프라우드 캠페인에서 흔히 사용되는 암호화되거나 가로채기 쉬운 URL도 탐지할 수 있었다.
• 학습 기반 접근 방식은 기존의 서명 기반 솔루션보다 0일 탐지에서 뚜렷한 우수성을 보였으며, 이전에 보지 못한 위협의 다수를 탐지하였다.
• 모듈러하고 다수 수준의 탐지기 아키텍처는 구성 요소를 별도로 재훈련할 수 있도록 하여 소량의 데이터로도 새로운 악성 행동에 신속하게 대응할 수 있도록 하였다.