[논문 리뷰] Assembling a Cyber Range to Evaluate Artificial Intelligence / Machine Learning (AI/ML) Security Tools

Jeffrey A. Nichols, Kevin D. Spakes외 2명|arXiv (Cornell University)|2022. 01. 20.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 오ak Ridge National Laboratory에서 개발한 확장 가능하고 프로그래머블한 사이버 레인지의 개발을 제시하며, 반복 가능하고 통제 가능한 실험을 통해 AI/ML 기반 사이버보안 도구의 성능을 평가한다. 이 레인지에서는 대규모 네트워크 환경을 자동화되고 고정밀도로 시뮬레이션할 수 있으며, 10만 개의 파일 샘플과 다단계 사이버 캠페인을 포함한 두 차례의 국가 수준 도전 대회에서 성공적으로 검증되었다. 이는 실생활 정부 규모의 네트워크에서 AI/ML 도구의 성능과 운영 비용을 표준화되고 반복 가능한 방식으로 평가할 수 있도록 한다.

ABSTRACT

In this case study, we describe the design and assembly of a cyber security testbed at Oak Ridge National Laboratory in Oak Ridge, TN, USA. The range is designed to provide agile reconfigurations to facilitate a wide variety of experiments for evaluations of cyber security tools -- particularly those involving AI/ML. In particular, the testbed provides realistic test environments while permitting control and programmatic observations/data collection during the experiments. We have designed in the ability to repeat the evaluations, so additional tools can be evaluated and compared at a later time. The system is one that can be scaled up or down for experiment sizes. At the time of the conference we will have completed two full-scale, national, government challenges on this range. These challenges are evaluating the performance and operating costs for AI/ML-based cyber security tools for application into large, government-sized networks. These evaluations will be described as examples providing motivation and context for various design decisions and adaptations we have made. The first challenge measured end-point security tools against 100K file samples (benignware and malware) chosen across a range of file types. The second is an evaluation of network intrusion detection systems efficacy in identifying multi-step adversarial campaigns -- involving reconnaissance, penetration and exploitations, lateral movement, etc. -- with varying levels of covertness in a high-volume business network. The scale of each of these challenges requires automation systems to repeat, or simultaneously mirror identical the experiments for each ML tool under test. Providing an array of easy-to-difficult malicious activity for sussing out the true abilities of the AI/ML tools has been a particularly interesting and challenging aspect of designing and executing these challenge events.

연구 동기 및 목표

• 실생활 네트워크 환경에서 AI/ML 기반 사이버보안 도구를 평가하기 위한 유연하고 재구성 가능한 사이버 레인지 설계 및 구현.
• 정의된 기준에 기반한 공정하고 표준화된 벤치마킹을 위한 프로그래머블 데이터 수집 및 반복 가능한 실험 수행.
• 다양한 위협 시나리오, 특히 다단계 사이버 캠페인을 포함한 대규모, 고용량의 AI/ML 도구 평가 지원.
• 자동화 및 모듈식 아키텍처를 통해 운영 오버헤드를 줄이고 재현 가능성을 높임.
• 정부 규모의 네트워크와 실제 위협 프로파일을 포함한 국가 수준 사이버보안 도전 대회를 위한 확장 가능한 테스트베드 제공.

제안 방법

• 가상화 및 컨테이너 기반 환경을 활용해 유연한 토폴로지 설정이 가능한 엔터프라이즈 규모의 네트워크를 시뮬레이션.
• 네트워크 트래픽, 시스템 상태 및 위협 주입에 대한 프로그래머블 제어를 지원해 반복 가능한 실험을 가능하게 함.
• 평가 중 도구의 행동, 탐지율 및 성능 메트릭을 기록하기 위한 자동화된 데이터 수집 파이프라인 통합.
• 일관된 벤치마킹을 위한 실제와 유사한 합성 데이터셋(예: 악성코드 및 정상 소프트웨어 포함 10만 개 파일 샘플) 활용.
• 동일한 실험을 병렬로 여러 AI/ML 도구에 적용해 직접 비교할 수 있도록 아키텍처 설계.
• 실험 요구사항에 따라 확장 또는 축소 가능한 설계로, 소규모 검증부터 대규모 국가 수준 도전 대회까지 지원.

실험 결과

연구 질문

• RQ1 어떻게 사이버 레인지 아키텍처를 설계하여 실생활 네트워크 환경에서 반복 가능하고 대규모로 AI/ML 기반 보안 도구를 평가할 수 있는가?
• RQ2 다양한 AI/ML 평가 시나리오에 대응하기 위해 민첩한 재구성과 프로그래머블 제어를 가능하게 하는 시스템 설계 패턴은 무엇인가?
• RQ3 고정밀도의 다단계 사이버 공격 시뮬레이션을 어떻게 생성하고 확장하여 AI/ML 도구의 탐지 능력을 평가할 수 있는가?
• RQ4 공정한 벤치마킹을 위해 동일한 조건에서 여러 AI/ML 도구에 대해 동시에 동일한 실험을 수행하기 위해 필요한 자동화 메커니즘은 무엇인가?
• RQ5 대규모 정부 규모 네트워크 시뮬레이션에서 AI/ML 도구의 운영 비용과 성능을 일관되게 측정하는 방법은 무엇인가?

주요 결과

• 사이버 레인지가 AI/ML 도구를 포함한 두 차례의 전면적인 국가 수준 도전 대회를 성공적으로 지원하여 확장성과 재사용 가능성을 입증.
• 여러 AI/ML 도구 간 일관된 데이터 수집이 가능한 반복 가능한 프로그래머블 실험 실행을 지원.
• 10만 개의 파일 샘플을 대상으로 한 엔드포인트 보안 도구 평가를 통해 악성코드 탐지 성능에 대한 표준화된 기준 마련.
• 복잡한 다단계 적대 행위 캠페인을 시뮬레이션한 네트워크 침입 탐지 도전은 AI/ML 도구의 탐지 한계를 테스트.
• 자동화 인fra를 통해 동일한 조건에서 여러 AI/ML 도구의 동시에 실행 및 비교를 가능하게 하여 공정하고 재현 가능한 결과 확보.
• 테스트베드의 모듈식 설계 덕분에 새로운 위협 모델과 평가 요구사항에 신속하게 재구성하고 적응 가능.