[논문 리뷰] SoK: A Survey of Open-Source Threat Emulators

Polina Zilberman, Rami Puzis외 3명|arXiv (Cornell University)|2020. 03. 03.

Information and Cyber Security인용 수 10

한 줄 요약

이 논문은 MITRE ATT&CK 전술 및 기법을 기반으로 하여 오픈소스 위협 시뮬레이터를 평가하고 비교하기 위한 종합적인 방법론을 제시한다. 또한 청소, 구성, 환경 호환성 등의 기준도 포함한다. 이 연구는 레드팀, 보안 도구 평가, 가상 시나리오 분석 등의 다양한 보안 평가 요구사항을 충족시키는 데 있어 Atomic Red Team, RTA, CALDERA, Metasploit를 최고의 성능을 보이는 도구로 특정하며, 사용 사례와 조직적 요구사항에 따라 가장 적합한 시뮬레이터를 선택하는 데 실질적인 지침을 제공한다.

ABSTRACT

Threat emulators are tools or sets of scripts that emulate cyber attacks or malicious behavior. They can be used to create and launch single procedure attacks and multi-step attacks; the resulting attacks may be known or unknown cyber attacks. The motivation for using threat emulators varies and includes the need to perform automated security audits in organizations or reduce the size of red teams in order to lower pen testing costs; or the desire to create baseline tests for security tools under development or supply pen testers with another tool in their arsenal. In this paper, we review and compare various open-source threat emulators. We focus on tactics and techniques from the MITRE ATT&CK Enterprise matrix and determine whether they can be performed and tested with the emulators. We develop a comprehensive methodology for our qualitative and quantitative comparison of threat emulators with respect to general features, such as prerequisites, attack definition, cleanup, and more. Finally, we discuss the circumstances in which one threat emulator is preferred over another. This survey can help security teams, security developers, and product deployment teams examine their network environment or products with the most suitable threat emulator. Using the guidelines provided, a team can select the threat emulator that best meets their needs without evaluating all of them.

연구 동기 및 목표

• 문헌에서 오픈소스 위협 시뮬레이터에 대한 체계적이고 엄밀한 비교가 부족한 점을 보완하기 위해.
• 사전 조건, 공격 정의, 청소, 환경 호환성 등의 핵심 기준을 바탕으로 위협 시뮬레이터 평가를 위한 표준화된 방법론을 개발하기 위해.
• 레드팀, 보안 도구 평가, 가상 시나리오 분석 등의 다양한 보안 사용 사례에 가장 적합한 위협 시뮬레이터를 식별하고 순위를 매기기 위해.
• 모든 사용 가능한 도구를 평가하지 않고도 보안 팀과 개발자가 최적의 위협 시뮬레이터를 선택할 수 있도록 실질적인 지침을 제공하기 위해.
• 현재 위협 시뮬레이터에서 나타나는 심각한 격차, 예를 들어 청소 메커니즘이 부족하거나 API 또는 GUI 지원이 제한적인 점을 부각시키기 위해.

제안 방법

• 저자는 일반 기능(사전 조건, 공격 정의, 청소), 시나리오 실행(구성 가능성, 정지/중간 실행 지원), 환경 호환성(OS, 권한), 절차 구성 방식의 네 가지 기준을 기반으로 다차원 평가 프레임워크를 정의한다.
• 11종의 오픈소스 위협 시뮬레이터—Atomic Red Team, RTA, CALDERA, Metasploit, Infection Monkey 등—이 MITRE ATT&CK Enterprise 매트릭스를 기반으로 전술 및 기법 커버리지 평가를 수행한다.
• 다단계 공격 지원, 커스터마이제이션, 통합 기능 등을 포함한 기능 기반으로 시뮬레이터를 분류하는 분류 체계를 수립한다.
• 각 시뮬레이터에 대해 모든 기준에 대해 점수를 할당함으로써 정성적 및 정량적 분석을 병행하며 직접 비교가 가능하도록 한다.
• 실제 운영 사례인 레드팀 활동, 보안 도구 테스트, 가상 시나리오 분석을 포함하여 평가를 실질적인 시나리오에 기반하게 한다.
• 자동화 및 다양한 운영 환경에서의 사용성 향상을 위한 핵심 요소로 API 가용성, GUI 지원, CLI 기능을 평가한다.

실험 결과

연구 질문

• RQ1 어느 오픈소스 위협 시뮬레이터가 MITRE ATT&CK 전술 및 기법에 가장 넓은 커버리지 범위를 제공하는가?
• RQ2 생산 환경에서 청소, 구성, 환경 호환성 측면에서 각 위협 시뮬레이터는 어떻게 성능을 발휘하는가?
• RQ3 초보자와 숙련자 운영자 간의 사용성 및 확장성 측면에서 시뮬레이터 간의 주요 차이는 무엇인가?
• RQ4 보안 도구 평가 및 가상 시나리오 분석를 위한 반복 가능한 공격 시나리오 실행을 가장 잘 지원하는 시뮬레이터는 무엇인가?
• RQ5 조직의 보안 운영 및 지속적인 평가 워크플로우에 위협 시뮬레이터를 통합하기 위해 가장 중요한 기능은 무엇인가?

주요 결과

• Atomic Red Team, RTA, CALDERA, Metasploit는 공격 시나리오 커버리지, 청소, 구성 가능성에서 뛰어난 성능을 보이며 최고의 성능을 보였다.
• Atomic Red Team과 RTA는 환경 호환성과 청소 측면에서 가장 높은 점수를 기록하여 생산 환경 및 가상 시나리오 분석에 이상적인 도구로 평가되었다.
• Metasploit과 CALDERA는 복잡한 다단계 공격에 특히 적합한 고도의 커스터마이제이션 능력과 사용자 친화성의 균형을 잘 보여주었다.
• Infection Monkey는 가장 사용자 친화적인 시뮬레이터로, GUI와 즉시 실행 가능한 공격 시나리오를 제공하여 경험이 적은 사용자에게 적합하였다.
• 청소 기능이 완전히 제공되는 시뮬레이터는 Atomic Red Team, CALDERA, Metasploit의 일부에 국한되었으며, 나머지 도구들은 수동 조치가 필요하여 운영 리스크가 증가하였다.
• Atomic Red Team, CALDERA, Metasploit의 API 가용성 덕분에 보안 운영 센터 및 자동화된 평가 파이프라인과의 원활한 통합이 가능했다.