[논문 리뷰] DNS Covert Channel Detection via Behavioral Analysis: a Machine Learning Approach

Salvatore Saeli, Federica Bisio외 2명|arXiv (Cornell University)|2020. 10. 04.

Internet Traffic Analysis and Secure E-voting참고 문헌 32인용 수 11

한 줄 요약

이 논문은 수동으로 수집한 DNS 트래픽에서 사용자 수준의 행동 프로파일을 모델링하여 DNS 코어트 채널을 탐지하기 위한 비지도 기계학습 접근법을 제안한다. 이는 시그니처가 필요 없이 제로데이 공격을 탐지할 수 있게 한다. 이 방법은 94%의 F-스코어와 97%의 리콜을 달성하여 악성 변종 8종(APT 및 터널링 도구 포함)을 모두 탐지했으며, 거짓 경고는 극히 적게 발생했고, 주로 광고 관련 쿼리에서 비롯되었다.

ABSTRACT

Detecting covert channels among legitimate traffic represents a severe challenge due to the high heterogeneity of networks. Therefore, we propose an effective covert channel detection method, based on the analysis of DNS network data passively extracted from a network monitoring system. The framework is based on a machine learning module and on the extraction of specific anomaly indicators able to describe the problem at hand. The contribution of this paper is two-fold: (i) the machine learning models encompass network profiles tailored to the network users, and not to the single query events, hence allowing for the creation of behavioral profiles and spotting possible deviations from the normal baseline; (ii) models are created in an unsupervised mode, thus allowing for the identification of zero-days attacks and avoiding the requirement of signatures or heuristics for new variants. The proposed solution has been evaluated over a 15-day-long experimental session with the injection of traffic that covers the most relevant exfiltration and tunneling attacks: all the malicious variants were detected, while producing a low false-positive rate during the same period.

연구 동기 및 목표

• 기존의 시그니처 기반 및 히ュ리스틱 기반 탐지 시스템을 회피하는 정상 네트워크 트래픽 내의 DNS 코어트 채널을 탐지하는 데 도전하는 문제를 해결하기 위해.
• 개별 쿼리 이벤트가 아닌 사용자 수준의 네트워크 행동을 모델링하여 장기적인 행동 기반을 캡처함으로써 탐지 정확도를 향상시키기 위해.
• 악성 샘플이나 사전 정의된 히ュ리스틱에 의존하지 않고 정상 트래픽만으로 훈련함으로써 제로데이 공격 탐지를 가능하게 하기 위해.
• 특히 코어트 채널과 유사한 구조를 띠는 정상 트래픽(예: 광고 쿼리)에 대해 사이버보안 지식을 통합한 고급 분석을 통해 거짓 경고를 줄이기 위해.
• APT 및 파일 유출 도구를 포함한 다양한 실제 공격 벡터에 대해 프레임워크의 효과성을 평가하기 위해.

제안 방법

• 프레임워크는 네트워크 모니터링 시스템(Armadillo/Aras)으로부터 수동으로 DNS 트래픽을 수집하고, 개별 쿼리가 아닌 사용자별로 행동 지표를 추출한다.
• 비지도 기계학습을 사용해 사용자별 행동 프로파일을 구축함으로써 정상 행동에서의 이탈을 탐지할 수 있도록 한다.
• 이상치 지표는 빈도, 길이, 엔트로피, 요청 구조 등 DNS 쿼리 패턴에서 유도되며, 이는 코어트 채널 특성과 관련된다.
• 분류에 대해 지지 벡터 머신(SVMs)을 사용하며, 악성 트래픽에 대한 레이블이 없는 정상 트래픽만으로 훈련하여 알려지지 않은 변종을 탐지한다.
• 후처리 분석 모듈은 도메인 특화 지식을 적용하여 거짓 경고를 걸러내며, 특히 정상적이지만 악성처럼 보이는 광고 쿼리와의 차이를 구분한다.
• 프레임워크는 15일간의 실제 네트워크 데이터를 사용해 평가되었으며, 이는 7개의 APT, 1개의 PoS 악성코드 캠페인, 5개의 DNS 터널링 도구, 1개의 DNS 파일 전송 도구에서 유도된 트래픽을 포함한다.

실험 결과

연구 질문

• RQ1 사용자 수준의 DNS 행동에 기반한 비지도 기계학습 모델이 악성 패tern에 대한 사전 지식 없이도 이전에 본 적 없는 DNS 코어트 채널 공격을 탐지할 수 있는가?
• RQ2 특히 코어트 채널과 유사한 구조적 패턴을 띠는 정상 트래픽에 대해, 개별 쿼리 이벤트 분석 대비 사용자 행동 프로파일링이 거짓 경고를 얼마나 줄이는가?
• RQ3 이 프레임워크는 터널링 및 데이터 유출을 포함한 다양한 코어트 채널 유형을 실제로 존재하는 공격 도구 및 APT 캠페인 전반에 걸쳐 얼마나 잘 탐지할 수 있는가?
• RQ4 레이블이 부여된 악성 샘플 없이 정상 트래픽만으로 훈련된 시스템이, 악성 트래픽 탐지율과 F-스코어 측면에서 얼마나 성능을 내는가?
• RQ5 후처리 단계에서 도메인 특화 지식을 통합함으로써, 정상적이지만 의심스러운 구조를 띠는 쿼리(예: 광고 도메인)로 인한 거짓 경고를 얼마나 크게 줄일 수 있는가?

주요 결과

• 시스템은 정상 쿼리보다 악성 쿼리 수가 훨씬 많은 극도로 불균형한 데이터셋에서도 정밀도와 재현율의 균형을 잘 유지한 94%의 F-스코어를 달성했다.
• 탐지율(리콜)은 97%에 도달했으며, 18,174개의 악성 쿼리 중 오직 490개의 거짓 음성만 기록하여 코어트 채널 활동에 매우 민감한 것을 보여주었다.
• 일부 도구(예: DNScapy)의 경우 개별 쿼리 수준의 탐지 정확도는 낮았지만, 전체적으로는 APT 및 터널링 도구를 포함한 악성 트래픽 8종 모두를 정확히 식별했다.
• 거짓 경고율은 낮았으며, 주로 코어트 채널의 구조와 엔트로피를 모방하는 광고 관련 도메인에서 비롯되었고, 이는 행동 프로파일링의 효과를 뒷받침한다.
• 프레임워크는 8종의 다른 공격 유형(5개의 DNS 터널링 도구 및 1개의 DNS 파일 전송 도구 포함)에 걸쳐 총 18,174개의 악성 쿼리를 모두 탐지했다.
• 비지도 훈련 방식 덕분에 재학습이나 시그니처 업데이트 없이도 제로데이 변종을 탐지할 수 있었으며, 이는 새로운 위협에 대한 유연성과 적응 가능성을 확인한다.