[논문 리뷰] Explaining Machine Learning DGA Detectors from DNS Traffic Data

Giorgio Piras, Maura Pintor외 2명|arXiv (Cornell University)|2022. 08. 10.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 DNS 트래픽에서 기계학습 기반 DGA(Domain Generation Algorithm) 탐지에 대한 종합적인 설명 가능 AI 프레임워크를 제안하며, 전역 및 국소 해석 기법을 사용하여 모델 결정을 해독한다. 새로운 데이터셋에 대해 EXPOSURE 시스템을 재구현하여 특성 중요도가 모델 간에 다름을 입증하고, 디버깅과 신뢰도에 핵심적인 영향을 미치는 맥락 기반 편향을 드러낸다.

ABSTRACT

One of the most common causes of lack of continuity of online systems stems from a widely popular Cyber Attack known as Distributed Denial of Service (DDoS), in which a network of infected devices (botnet) gets exploited to flood the computational capacity of services through the commands of an attacker. This attack is made by leveraging the Domain Name System (DNS) technology through Domain Generation Algorithms (DGAs), a stealthy connection strategy that yet leaves suspicious data patterns. To detect such threats, advances in their analysis have been made. For the majority, they found Machine Learning (ML) as a solution, which can be highly effective in analyzing and classifying massive amounts of data. Although strongly performing, ML models have a certain degree of obscurity in their decision-making process. To cope with this problem, a branch of ML known as Explainable ML tries to break down the black-box nature of classifiers and make them interpretable and human-readable. This work addresses the problem of Explainable ML in the context of botnet and DGA detection, which at the best of our knowledge, is the first to concretely break down the decisions of ML classifiers when devised for botnet/DGA detection, therefore providing global and local explanations.

연구 동기 및 목표

• 기계학습 기반 DGA 및 봇넷 탐지 시스템의 해석 가능성 부족 문제를 해결하여 디버깅, 구현, 신뢰도 향상에 기여한다.
• DGA 탐지에 사용되는 기계학습 분류기의 전역 및 국소 설명을 제공하여 모델 투명성과 인간 독해도를 향상시킨다.
• 다양한 분류기 간 특성 선택 및 우선순위 설정 방식의 차이를 분석하여 모델별 결정 패턴을 규명한다.
• 배포 맥락이 특성 관련성과 모델 행동에 미치는 영향을 분석하여 실제 환경에서의 잠재적 편향을 규명한다.
• 보안 분석가가 모델 결정을 해석하고, 잘못 분류된 사례를 탐지하며, 설명 가능성 기반으로 시스템의 강건성을 향상시킬 수 있도록 한다.

제안 방법

• 재현성과 맥락적 관련성을 확보하기 위해 새로 수집한 DNS 트래픽 데이터셋에 기반해 EXPOSURE 시스템을 재구현한다.
• DNS 패킷에서 시간 기반, DNS 응답 기반, TTL 값 기반, 이름 기반 특성을 포함한 종합적인 특성 세트를 추출한다.
• XGBoost, 랜덤 포레스트, SVM 등 다양한 기계학습 분류기를 훈련시켜 DGA 탐지 성능을 비교한다.
• SHAP(SHapley Additive exPlanations)를 적용하여 전역 및 국소 해석 가능성을 확보하고 예측에 기여하는 특성 기여도를 분석한다.
• 모델 간 특성 사용에 대한 통계 분석을 수행하여 우선순위 설정 패턴과 잠재적 편향을 규명한다.
• 다양한 배포 맥락에서의 모델 행동을 평가하여 특성 민감도와 결정 강건성을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 분류기가 DGA 탐지에서 특성을 어떻게 우선순위를 정하는가? 이는 모델 해석 가능성에 어떤 영향을 미치는가?
• RQ2 동일한 DNS 트래픽 데이터에 적용했을 때, 특성 중요도 패턴이 다양한 모델 간에 얼마나 다름을 보이는가?
• RQ3 SHAP 기반 국소 설명은 실세계 배포 환경에서 잘못 분류된 DGA 샘플을 식별하고 디버깅하는 데 어떻게 기여하는가?
• RQ4 다른 네트워크 환경에서 훈련 및 배포될 경우, 특성 관련성에서 나타나는 맥락적 편향은 무엇인가?
• RQ5 전역 및 국소 해석 가능 기법은 기계학습 기반 DGA 탐지기의 신뢰도, 공정성, 유지보수성 향상에 기여할 수 있는가?

주요 결과

• 다양한 분류기가 DGA 탐지에 대해 서로 다른 특성 세트를 우선순위로 삼으며, 이는 모델 선택이 결정 패턴에 상당한 영향을 미친다는 것을 시사한다.
• EXPOSURE 특성 세트는 다양한 분류기에서 뛰어난 성능을 보였으며, 특히 이름 기반 및 TTL 값 기반 특성이 높은 예측 중요도를 보였다.
• SHAP 기반 국소 설명은 잘못 분류된 특정 DNS 쿼리와 관련 특성을 성공적으로 파악하여 대상 지향적 디버깅을 가능하게 하였다.
• 특성 관련성은 맥락에 따라 달라졌으며, 특히 트래픽 변동성이 높은 환경에서는 TTL 통계와 같은 일부 특성이 신뢰도가 떨어졌다.
• 전역 설명을 통해 모델가 종종 도메인 이름 엔트로피 및 DNS 응답 패턴과 관련된 소수의 특성에 의존하는 것으로 나타나, 악성 환경에서의 강건성에 제한을 받는다는 점이 드러났다.
• 본 연구는 설명 가능성 기법이 모델에 대한 신뢰도를 향상시키고, 지속적인 모니터링 및 개선이 가능한 보안 파이프라인에 통합하는 데 기여함을 입증하였다.