[논문 리뷰] Zooming Into the Darknet: Characterizing Internet Background Radiation and its Structural Changes

Michalis Kallitsis, Vasant Honavar외 3명|arXiv (Cornell University)|2021. 07. 29.

Opinion Dynamics and Social Influence참고 문헌 36인용 수 7

한 줄 요약

이 논문은 어둠의 네트워크 스캐닝 활동을 특성화하고 시간에 따라 변화하는 구조적 변화를 탐지하기 위한 딥 레프리젠테이션 학습 프레임워크를 제안한다. 원시 패킷 데이터 및 외부 자료에서 이질적인 특징을 추출하고, 오토에인코더를 통해 저차원 임베딩을 학습하며, 해석 가능한 결정 트리와 함께 군집화를 적용하여 변화하는 스캐너 행동을 식별하고, 군집 서명을 사용해 미라이 봇넷 급증과 같은 고영향도 사이버 사고를 탐지한다.

ABSTRACT

Network telescopes or "Darknets" provide a unique window into Internet-wide malicious activities associated with malware propagation, denial of service attacks, scanning performed for network reconnaissance, and others. Analyses of the resulting data can provide actionable insights to security analysts that can be used to prevent or mitigate cyber-threats. Large Darknets, however, observe millions of nefarious events on a daily basis which makes the transformation of the captured information into meaningful insights challenging. We present a novel framework for characterizing Darknet behavior and its temporal evolution aiming to address this challenge. The proposed framework: (i) Extracts a high dimensional representation of Darknet events composed of features distilled from Darknet data and other external sources; (ii) Learns, in an unsupervised fashion, an information-preserving low-dimensional representation of these events (using deep representation learning) that is amenable to clustering; (iv) Performs clustering of the scanner data in the resulting representation space and provides interpretable insights using optimal decision trees; and (v) Utilizes the clustering outcomes as "signatures" that can be used to detect structural changes in the Darknet activities. We evaluate the proposed system on a large operational Network Telescope and demonstrate its ability to detect real-world, high-impact cybersecurity incidents.

연구 동기 및 목표

• 네트워크 천체망에서 유입되는 고차원적이고 이질적인 어둠의 네트워크 데이터를 분석하는 데 도전하는 것.
• 새로운 공격 캠페인이나 봇넷 활동과 같은 시간에 따른 스캐닝 행동의 구조적 변화를 탐지하는 것.
• 스캐닝 프로파일과 대상 특성에 기반해 스캐너를 해석 가능한 방식으로 군집화하는 것.
• evolving 사이버 위협 패턴을 식별함으로써 보안 분석가에게 실질적인 통찰을 제공하는 것.
• 원시 어둠의 네트워크 데이터를 의미 있는 위협 서명으로 변환하는 확장 가능한 비지도 시스템을 개발하는 것.

제안 방법

• 스캔된 포트, IP 지리정보, DNS 데이터, Censys.io 서비스 메타데이터를 포함한 어둠의 네트워크 패킷에서 고차원적 특징을 추출한다.
• 이질적인 스캐너 데이터의 비선형적이고 정보를 유지하는 저차원 임베딩을 학습하기 위해 딥 오토에인코더를 적용한다.
• 학습된 임베딩에 K-means 군집화를 적용하여 행동 유사성에 기반해 스캐너를 군집화한다.
• 최적의 결정 트리를 적용하여 군집 특성을 해석하고 군집 소속을 위한 인간이 읽을 수 있는 규칙을 추출한다.
• 군집 결과를 동적 서명으로 사용하여 시간에 따라 어둠의 네트워크 활동의 구조적 변화를 탐지한다.
• 대규모 운영 네트워크 천체망에서 시스템을 검증하여 실제 사례인 미라이 봇넷 급증과 같은 사고 탐지를 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 고차원적이고 이질적인 어둠의 네트워크 데이터를 비지도 군집화에 효과적으로 표현할 수 있는가?
• RQ2 기존 방법에 비해 딥 표현 학습이 복잡한 스캐너 행동에 대한 군집화 성능을 향상시킬 수 있는가?
• RQ3 결과 군집을 어떻게 의미적으로 해석할 수 있어 스캐너 행동과 공격 패턴에 대한 통찰을 도출할 수 있는가?
• RQ4 군집 결과가 어둠의 네트워크 스캐닝 활동의 구조적 변화를 탐지하는 데 신뢰할 수 있는 서명으로 기능할 수 있는가?
• RQ5 스캐너 행동의 시간적 진화 패턴은 무엇이며, 실제 사이버 사고와 어떻게 연관되어 있는가?

주요 결과

• 2021년 1월 7일, 시스템은 미라이 봇넷 활동과 관련된 SSH 관련 스캐닝 활동 급증을 성공적으로 탐지했다.
• 2021년 1월 7일의 여섯 개의 SSH 관련 군집 중 다섯 개는 결정 트리에서 단일 결정 경로로 설명되었으며, 이는 공통된 행동 서명을 의미한다.
• 2021년 1월 6일에는 SSH 관련 군집이 하나뿐이었고, 스캐너 수는 703명이었지만, 1월 7일에는 스캐너 수가 각각 5,739명과 4,325명에 달하는 여러 개의 대규모 SSH 군집이 나타났다.
• 주요 스캔 포트는 일정하게 유지되었으며, 포트 445와 51974가 가장 자주 타깃으로 지목되어 지속적인 스캐닝 패턴을 보였다.
• 결정 트리에 따르면, 최고 스캔 포트인 22번(SSH)과 'cwmp', 'embedded', 'https'와 같은 태그가 SSH 스캐너 군집의 강력한 지표로 확인되었다.
• 이 프레임워크는 스캐너 행동과 대상 선택의 변화를 포함한 어둠의 네트워크 활동의 구조적 변화를 탐지했으며, 이는 알려진된 미라이 봇넷 캠페인과 일치했다.