[논문 리뷰] A Machine Learning based Empirical Evaluation of Cyber Threat Actors High Level Attack Patterns over Low level Attack Patterns in Attributing Attacks

Umara Noor, Sawera Shahid외 2명|arXiv (Cornell University)|2023. 07. 17.

Network Security and Intrusion DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 기계학습을 사용하여 사이버 위협 기여도 분석에서 고수준 및 저수준 위협 징후(IOCs)의 효과성을 실증적으로 평가한다. 실생활 데이터셋을 제안하여 비교 분석을 수행하고, 고수준 IOCs로 훈련된 모델이 95%의 정확도를 달성하는 등 저수준 IOCs 모델의 40% 정확도를 크게 뛰어넘는다.

ABSTRACT

Cyber threat attribution is the process of identifying the actor of an attack incident in cyberspace. An accurate and timely threat attribution plays an important role in deterring future attacks by applying appropriate and timely defense mechanisms. Manual analysis of attack patterns gathered by honeypot deployments, intrusion detection systems, firewalls, and via trace-back procedures is still the preferred method of security analysts for cyber threat attribution. Such attack patterns are low-level Indicators of Compromise (IOC). They represent Tactics, Techniques, Procedures (TTP), and software tools used by the adversaries in their campaigns. The adversaries rarely re-use them. They can also be manipulated, resulting in false and unfair attribution. To empirically evaluate and compare the effectiveness of both kinds of IOC, there are two problems that need to be addressed. The first problem is that in recent research works, the ineffectiveness of low-level IOC for cyber threat attribution has been discussed intuitively. An empirical evaluation for the measure of the effectiveness of low-level IOC based on a real-world dataset is missing. The second problem is that the available dataset for high-level IOC has a single instance for each predictive class label that cannot be used directly for training machine learning models. To address these problems in this research work, we empirically evaluate the effectiveness of low-level IOC based on a real-world dataset that is specifically built for comparative analysis with high-level IOC. The experimental results show that the high-level IOC trained models effectively attribute cyberattacks with an accuracy of 95% as compared to the low-level IOC trained models where accuracy is 40%.

연구 동기 및 목표

• 실생활 데이터를 사용하여 고수준 및 저수준 위협 징후(IOCs)의 효과성을 실증적으로 평가하는 것.
• 기계학습 기반 기여도 분석에서 고수준 및 저수준 IOCs 간 비교 분석을 위한 실생활 데이터셋의 부족 문제를 해결하는 것.
• 기존 고수준 IOC 데이터셋이 클래스 레이블당 하나의 인스턴스만 포함되어 있어 직접적인 모델 훈련이 불가능한 한계를 극복하는 것.
• 고수준 IOCs가 저수준 IOCs보다 정확하고 신속한 사이버 위협 기여도 분석에 더 신뢰할 만하고 효과적임을 입증하는 것.
• 향후 기계학습 모델의 위협 기여도 작업 평가를 위한 실용적이고 데이터 기반의 기준을 제공하는 것.

제안 방법

• 고수준 및 저수준 IOCs 간 비교 분석을 위해 특별히 설계된 실생활 데이터셋을 구축한 바.
• 사이버 캠페인에서 사용된 전술, 기법, 절차(TTPs) 및 소프트웨어 도구를 기반으로 고수준 IOCs를 추출한 바.
• 침입 탐지 시스템 및 핑거프린트 시스템에서 유도된 네트워크 아티팩트, 시스템 로그, 악성코드 서명과 같은 저수준 IOCs를 추출한 바.
• 고수준 및 저수준 IOC 표현 방식에 대해 다수의 기계학습 모델(예: 랜덤 포레스트, SVM, XGBoost)을 훈련시킨 바.
• 모델 훈련에 적합한 수치형 벡터로 변환하기 위해 특징 공학을 적용한 바.
• 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수 등의 표준 지표를 사용해 모델 성능을 평가한 바.

실험 결과

연구 질문

• RQ1 기계학습을 사용할 때 고수준 IOCs는 저수준 IOCs에 비해 얼마나 효과적인가?
• RQ2 고수준 및 저수준 IOCs 간 위협 기여도 분석에서 공정하고 실증적인 비교를 가능하게 하는 실생활 데이터셋을 구축할 수 있는가?
• RQ3 왜 저수준 IOCs는 수동 분석에서 널리 사용되지만 기여도 작업에서 성능이 떨어지는가?
• RQ4 고수준 IOCs로 훈련된 기계학습 모델이 얼마나 신뢰할 수 있고 일관성 있는 기여도 결과를 도출할 수 있는가?
• RQ5 기존 고수준 IOC 데이터셋의 한계는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 고수준 IOCs 기반 기계학습 모델은 사이버 공격 기여도 분석에서 95%의 정확도를 달성하여 강력한 예측 성능을 입증하였다.
• 저수준 IOCs 기반 모델은 오직 40%의 정확도를 기록하여 자동화된 위협 기여도 분석에 있어 상당히 떨어지는 성능을 보였다.
• 이 연구는 실증적으로 저수준 IOCs가 조작에 취약하고 재사용성이 떨어져 기여도 분석에서 신뢰성이 떨어짐을 확인하였다.
• 구축된 데이터셋은 고수준 및 저수준 IOCs 간 직접 비교를 가능하게 하며, 기존 고수준 데이터셋의 단일 인스턴스 제한 문제를 해결하였다.
• 고수준 IOCs는 더 넓은 TTPs와 캠페인 수준의 행동을 반영하므로 저수준 IOCs보다 더 안정적이고 일반화 가능성이 높다.
• 결과적으로 위협 지능 시스템은 확장성 있고 정확한 자동 기여도 분석을 위해 고수준 IOCs를 우선적으로 고려해야 한다고 제안한다.