[논문 리뷰] Machine Learning in Cyber-Security - Problems, Challenges and Data Sets

Idan Amit, John Matherly외 4명|arXiv (Cornell University)|2018. 12. 19.

Network Security and Intrusion Detection참고 문헌 31인용 수 37

한 줄 요약

이 논문은 악성코드 분류, 호스트 유사성, 횡행 이동, 스텔스 포트 스캐닝과 같은 새로운 사이버보안 문제와 함께 혁신적인 기계학습 과제 및 공개된 데이터셋을 제안한다. 운영자 도메인을 기반으로 한 피봇팅 기반 레이블링 방법을 제안하여 고품질의 콘텐츠에 의존하지 않는 레이블을 생성함으로써, 보안 응용 분야에서 기계학습 모델의 강건한 훈련과 평가를 가능하게 한다.

ABSTRACT

We present cyber-security problems of high importance. We show that in order to solve these cyber-security problems, one must cope with certain machine learning challenges. We provide novel data sets representing the problems in order to enable the academic community to investigate the problems and suggest methods to cope with the challenges. We also present a method to generate labels via pivoting, providing a solution to common problems of lack of labels in cyber-security.

연구 동기 및 목표

• 기존의 부족하고 노이즈가 많은 레이블 문제를 해결하기 위해 새로운 레이블링 방법론을 제안함.
• 악성코드 분류, 호스트 유사성, 횡행 이동 탐지, 스텔스 포트 스캐닝과 같은 네 가지 영향력 있는 사이버보안 문제를 제시함.
• 각 문제에 대해 재현 가능한 연구와 모델 개발을 가능하게 하기 위해 새로운 공개 데이터셋을 제공함.
• 운영자 도메인 피봇팅을 통한 콘텐츠에 의존하지 않는 레이블링을 통해 수동 전문가 레이블링과 시그니처 기반 방법에 대한 의존도를 감소시킴.
• 다양한 네트워크 환경과 시간대에서의 데이터를 공개함으로써 도메인 적응 및 개념 드프트 연구를 촉진함.

제안 방법

• 운영자 도메인 피봇팅 사용: 두 악성코드 샘플이 동일한 악성 도메인 세트와 통신하는 경우, 동일한 운영자에 속한다고 레이블링함.
• 악성코드 $m$와 관련된 고유 도메인을 추출하기 위해 함수 $OperatorDomains(m)$ 정의 (선량하거나 일반적으로 사용되는 도메인 제외).
• 악성코드 샘플이 공유하는 도메인을 호스팅하는 동일한 IP에 도메인을 해결하는 호스트 쌍은 유사하다고 레이블링함. $resolve(ip)$ 및 $signature(ip)$ 함수 사용.
• 공통된 운영자 도메인을 공유하는 악성코드에서 양성 쌍을 구성하고, 이를 호스트 시그니처에 매핑하여 레이블링된 호스트 유사성 쌍 생성.
• 비일치하는 호스트 시그니처의 카티esian 곱을 통해 음성 샘플 생성하여 데이터셋의 균형을 유지함.
• 연결 쌍의 특징(시간, 포트 사용, 데이터량 등)을 활용하여 네트워크 트래픽에서 바인드 셸 공격 쌍을 식별하기 위해 노이즈 필터링 및 시간 제약 조건 적용.

실험 결과

연구 질문

• RQ1 수동 분석이나 시그니처 기반 방법에 의존하지 않고, 신뢰성 있고 확장 가능하며 콘텐츠에 의존하지 않는 레이블을 어떻게 생성할 수 있는가?
• RQ2 직접적인 악성코드 통신이 관찰되지 않더라도, 서비스 시그니처 기반 호스트 유사성은 얼마나 악성 인프라를 식별하는 데 효과적인가?
• RQ3 대규모 네트워크 트래픽에서 횡행 이동 경로를 정상 네트워크 행동과 구분하는 데 가장 적합한 특징는 무엇인가?
• RQ4 운영자 도메인 피봇팅은 악성코드 분류 모델의 일반화 능력과 강건성 향상에 얼마나 효과적인가?
• RQ5 스텔스 포트 스캐닝과 바인드 셸 공격의 핵심 특성은 네트워크 세션 데이터에서 어떻게 탐지할 수 있는가?

주요 결과

• 제안된 운영자 도메인 피봇팅 방법은 대규모의 콘텐츠에 의존하지 않는 레이블을 생성할 수 있게 하여 전문가 레이블링에 대한 의존도를 크게 감소시킴.
• 바인드 셸 데이터셋은 포트 사용, 시간, 데이터량 등의 특징을 포함한 1,000개 이상의 레이블링된 연결 쌍을 포함하여 프론트 셸 패턴 탐지를 가능하게 함.
• 네트워크 트래픽 데이터셋은 여러 사이트와 시간대에서 수집되어 실제 배포 환경에서의 도메인 적응 및 개념 드프트 과제를 도입함.
• 공유된 악성 도메인에서 유도된 서비스 시그니처를 사용하여 호스트 유사성이 효과적으로 모델링됨으로써 관련 악성 호스트 탐지 가능.
• 각 쌍을 특정 운영자 도메인에 할당함으로써 다중 클래스 분류를 지원하여 이진 레이블을 넘는 세밀한 분석이 가능.
• 네트워크 행동 분석과 프rotocol 수준의 특징 엔지니어링을 조합한 레이블링 파이프라인을 통해 고품질의 양성 및 음성 샘플을 생성함.