[논문 리뷰] Automating Cyber Threat Hunting Using NLP, Automated Query Generation, and Genetic Perturbation

Prakruthi Karuna, Erik Hemberg외 2명|arXiv (Cornell University)|2021. 04. 23.

Software Engineering Research참고 문헌 7인용 수 10

한 줄 요약

이 논문은 NLP(Malmo)를 사용해 인간이 읽을 수 있는 악성 위협 기술 기술서를 기계로 실행 가능한 도메인 특화 언어(DSL) 쿼리로 변환하고, 유전적 프로그래밍(GPE)을 통해 지속적으로 변화하는 악성 위협 지표(IOCs)의 새로운 변형을 생성함으로써 사이버 위협 탐지 자동화를 위한 AI 기반 시스템인 WILEE를 제시한다. 이 시스템은 DSL 생성과 IOC 변형을 자동화함으로써 기존의 수동적 전문가 입력 의존도를 크게 감소시키면서도, 알려진 위협과 변화하는 위협 모두에 대해 확장 가능하고 유연한 탐지 기능을 제공한다.

ABSTRACT

Scaling the cyber hunt problem poses several key technical challenges. Detecting and characterizing cyber threats at scale in large enterprise networks is hard because of the vast quantity and complexity of the data that must be analyzed as adversaries deploy varied and evolving tactics to accomplish their goals. There is a great need to automate all aspects, and, indeed, the workflow of cyber hunting. AI offers many ways to support this. We have developed the WILEE system that automates cyber threat hunting by translating high-level threat descriptions into many possible concrete implementations. Both the (high-level) abstract and (low-level) concrete implementations are represented using a custom domain specific language (DSL). WILEE uses the implementations along with other logic, also written in the DSL, to automatically generate queries to confirm (or refute) any hypotheses tied to the potential adversarial workflows represented at various layers of abstraction.

연구 동기 및 목표

• 인간이 읽을 수 있는 위협 기술 기술서를 자동으로 기계로 처리 가능한 실행 가능한 쿼리로 변환하기 위한 목표.
• WILEE 프레임워크 내에서 TTP 기반 탐지 규칙을 생성하고 유지보수하기 위해 전문가(SME)의 수동적 의존도를 줄이기 위한 목표.
• IOCs에 대한 유전적 변형을 통해 알려진 위협의 새로운 행동적으로 타당한 변형을 생성함으로써 탐지 범위를 확장하기 위한 목표.
• 적응형 위협 탐지 능력을 향상시키기 위해 악성 행위자 전략의 변화에 대응해 위협 모델을 동적으로 진화시키는 목표.
• CALDERA 및 OpTC와 같은 기존 위협 시뮬레이션에 대해 AI로 생성된 DSL과 변형된 IOCs의 효과성을 평가하기 위한 목표.

제안 방법

• Malmo는 구조화되지 않은 인간이 읽을 수 있는 문서에서 전략, 기법, 절차(TTPs) 및 IOCs와 같은 핵심 위협 요소를 추출하고, 이를 기계로 처리 가능한 파이썬 기반 DSL로 번역한다.
• 시스템은 MITRE ATT&CK 기반으로 확장된 CybOX를 활용해 네트워크 및 호스트 엔티티를 모델링하는 맞춤형 도메인 특화 언어(DSL)를 사용하며, CybOX에서 기본적으로 지원하지 않는 엔티티도 포함한다.
• 유전적 변형 엔진(GPE)은 문법 기반 유전적 프로그래밍을 적용해, 정제된 IOC 데이터베이스에서 유형에 맞는 대체 값을 사용해 IOC 값의 변경을 통해 위협 구현을 변형한다.
• GPE는 초기 적합도 값이 알려지지 않았거나 동적으로 변화할 경우에도, 다양성과 적합도 사이의 조정 가능한 균형을 유지하는 노선성 탐색 기법을 사용해 새로운 위협 변형을 탐색한다.
• 시스템은 데이터 프oxy를 통해 데이터 스토어에 통합되어, 기업 네트워크 데이터에서 TTP 시퀀스를 탐지하기 위해 자동으로 쿼리를 생성하고 실행한다.
• 변형은 DSL 코드의 추상구문트리(_AST_) 수준에서 적용되어, 실행 의미를 유지하면서도 안전하고 문법적으로 유효한 변형을 통해 새로운 공격 표면 변형을 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 NLP 기법이 인간이 읽을 수 있는 위협 기술 기술서를 자동으로 기계로 처리 가능한 실행 가능한 DSL 쿼리로 효과적으로 변환할 수 있는가?
• RQ2 유전적 프로그래밍을 통해 알려진 IOCs의 의미 있고 행동적으로 타당한 새로운 변형을 얼마나 잘 생성할 수 있는가?
• RQ3 AI로 생성된 DSL과 변형된 IOCs의 성능이, 시뮬레이션된 공격을 탐지할 때 수동으로 작성된 전문가(SME) 기반 규칙과 비교해 어떻게 되는가?
• RQ4 적합도 신호가 지연되거나 불안정할 경우, 적응형 균형 조절이 가능한 노선성 탐색이 알려지지 않은 위협 변형 탐색에 얼마나 효과적인가?
• RQ5 학습된 공격자 행동을 기반으로 새로운 IOCs를 생성하고 탐지 패밀리의 범위를 확장할 잠재력은 어느 정도인가?

주요 결과

• Malmo는 구조화되지 않은 인간이 읽을 수 있는 문서에서 IOCs 및 TTPs를 포함한 핵심 위협 요소를 성공적으로 추출하고, 기계로 실행 가능한 DSL로 변환함으로써 자동 쿼리 생성을 가능하게 한다.
• GPE 컴포onent은 유형 인식 기반의 데이터베이스 기반 치환 메커니즘을 사용해, 문법적으로 유효하고 다양한 위협 구현 변형을 생성한다.
• 다양성과 적합도 사이의 조정 가능한 균형을 갖춘 노선성 탐색은 초기 적합도 값이 알려지지 않았거나 불안정한 경우에도 위협 공간의 효과적인 탐색을 가능하게 한다.
• 시스템은 AI로 생성된 DSL을 사용해 알려진 위협을 탐지할 수 있음을 입증하였으며, 초기 평가 결과 CALDERA 및 OpTC 시뮬레이션의 기준값과 일치하는 것으로 나타났다.
• 이 프레임워크는 알려진 소프트웨어 제작자를 C2C 도메인 내에서 타당한 대체자로 교체함과 같은 공격자 행동의 진화를 반영하는 새로운 IOCs 생성을 통해 동적이고 적응형 탐지가 가능하다.
• 향후 연구에서는 GPE가 유사 정규표현식 패턴을 생성해 관련 위협 패밀리 전체를 탐지할 수 있도록 하여 탐지 커버리지 확장을 가능하게 할 수 있음을 시사한다.