[논문 리뷰] Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence

Peng Gao, Fei Shao외 7명|arXiv (Cornell University)|2020. 10. 26.

Network Security and Intrusion Detection참고 문헌 25인용 수 11

한 줄 요약

ThreatRaptor는 비구조화된 오픈소스 사이버 위협 지능(OSCTI) 텍스트에서 구조화된 위협 행동—위협의 징후(IOC) 및 그들의 관계—을 추출함으로써 사이버 위협 사냥을 자동화하는 시스템이다. 이 시스템은 경량 자연어 처리(NLP) 파이프라인을 사용하여 위협 행동 그래프를 구축하고, 도메인 특화 언어(TBQL)를 통해 효율적인 쿼리 검색을 가능하게 하며, 높은 정확도와 낮은 지연 시간으로 시스템 감사 로그에서 악성 활동을 탐지할 수 있도록 자동으로 사냥 쿼리를 합성한다.

ABSTRACT

Log-based cyber threat hunting has emerged as an important solution to counter sophisticated attacks. However, existing approaches require non-trivial efforts of manual query construction and have overlooked the rich external threat knowledge provided by open-source Cyber Threat Intelligence (OSCTI). To bridge the gap, we propose ThreatRaptor, a system that facilitates threat hunting in computer systems using OSCTI. Built upon system auditing frameworks, ThreatRaptor provides (1) an unsupervised, light-weight, and accurate NLP pipeline that extracts structured threat behaviors from unstructured OSCTI text, (2) a concise and expressive domain-specific query language, TBQL, to hunt for malicious system activities, (3) a query synthesis mechanism that automatically synthesizes a TBQL query for hunting, and (4) an efficient query execution engine to search the big audit logging data. Evaluations on a broad set of attack cases demonstrate the accuracy and efficiency of ThreatRaptor in practical threat hunting.

연구 동기 및 목표

• 기업 환경에서 수작업으로 위협 사냥을 수행할 경우 발생하는 노동 집약적이고 실수를 유발하기 쉬운 문제를 해결하기 위해.
• 기존 접근 방식이 분산된 IOCs에 의존하고 비구조화된 OSCTI 보고서에 담긴 풍부한 맥락 지식을 忽시하는 한계를 극복하기 위해.
• 외부 OSCTI 지식과 시스템 감사 로그를 활용하여 자동화되고 확장 가능하며 정확도가 높은 위협 사냥을 가능하게 하기 위해.
• OSCTI에서 유도된 위협 행동 그래프로부터 자동으로 쿼리를 합성함으로써 사냥 쿼리를 수작업으로 구성하는 데 소요되는 수고를 줄이기 위해.
• IOCs 간의 구조화된 관계로 위협 행동을 모델링함으로써 서명 변경에 더 강건한 다단계 공격 탐지 능력을 향상시키기 위해.

제안 방법

• 보안 분야의 특수한 특징(예: IOCs 내 특수 문자)을 고려한 비지도 학습 기반의 경량이면서 정확도가 높은 NLP 파이프라인을 개발하여 비구조화된 OSCTI 보고서에서 IOCs와 그들의 관계를 추출한다.
• 노드가 IOCs(예: 파일 경로, IP 주소)를 나타내고, 간선이 그들 간의 의미적 관계(예: '읽기', '실행')를 나타내는 구조화된 위협 행동 그래프를 구성한다.
• 시스템 감사 로그에서 악성 이벤트 시퀀스를 탐지하기 위해 감사 로그를 대상으로 쿼리를 작성할 수 있는 간결하고 표현력이 뛰어난 도메인 특화 언어인 위협 행동 쿼리 언어(TBQL)를 도입한다.
• 위협 행동 그래프에서 자동으로 TBQL 쿼리를 생성하는 쿼리 합성 메커니즘을 활용하며, 지원되지 않는 IOCs 유형은 필터링하여 시스템 감사 데이터와의 호환성을 확보한다.
• PostgreSQL과 Neo4j에 통합된 고성능 쿼리 실행 엔진을 활용하여 대규모 감사 로그 데이터셋(하루 0.5~1 GB)을 효율적으로 검색한다.
• 시스템 감사 컴포onent이 기록하지 않는 IOCs를 제외함으로써 효율성을 향상시키기 위해 사전 합성 스크리닝 단계를 통합한다.

실험 결과

연구 질문

• RQ1 도메인 특화된 언어적 특징(예: 특수 문자, 비표준 형식)이 존재하는 비구조화된 OSCTI 보고서에서 비지도 학습 기반 NLP 파이프라인이 IOCs와 그들의 의미적 관계를 정확하게 추출할 수 있는가?
• RQ2 도메인 특화 쿼리 언어(TBQL)가 감사 로그에서 효과적인 위협 사냥을 위해 복잡한 다단계 위협 행동을 얼마나 잘 표현할 수 있는가?
• RQ3 OSCTI에서 파생된 위협 행동 그래프로부터 자동으로 쿼리를 합성하는 방식이 수작업 쿼리 작성의 노동을 얼마나 줄이고 정확도를 유지하는가?
• RQ4 OSCTI 지식과 시스템 감사 로깅을 통합함으로써, 단순 IOCs만을 사용하는 경우에 비해 고도로 정교한 다단계 공격의 탐지 능력을 얼마나 향상시킬 수 있는가?
• RQ5 대규모 감사 로그 워크로드에서 TBQL 쿼리를 실행할 경우 성능 오버헤드와 확장성은 어떠한가?

주요 결과

• 보안 특화된 문법적 복잡성(예: 특수 문자, 비표준 형식)이 존재하더라도 NLP 파이프라인이 OSCTI 보고서에서 IOCs와 그들의 관계를 높은 정확도로 추출함을 입증하였다.
• ThreatRaptor의 쿼리 합성 메커니즘이 사냥 쿼리를 수작업으로 작성하는 데 소요되는 수고를 크게 줄였으며, 분석가들이 저수준의 쿼리 구축 작업에서 벗어나 위협 분석에 집중할 수 있도록 하였다.
• 대규모 감사 로그(하루 0.5~1 GB) 처리에서 높은 효율성을 보였으며, 쿼리 실행 엔진 덕분에 대용량 데이터에서 저지연 시간 검색이 가능하였다.
• 실제 공격 사례를 대상으로 한 평가 결과, ThreatRaptor는 위협 행동 그래프에 모델링된 복잡한 이벤트 경로를 기반으로 다단계 공격을 성공적으로 탐지하였다.
• 구조화된 위협 행동 그래프의 사용은 서명 기반 회피 기법에 대한 탐지 강건성을 향상시켰으며, 공격자가 공격 체인의 의미적 흐름을 깨뜨리지 않는 한 행동을 쉽게 변경할 수 없게 하였다.
• Poirot의 비정확한 그래프 패턴 매칭 기능과 통합된 퍼지 검색 모드를 통해 서브그래프 정렬을 철저히 수행할 수 있었으며, 단일 반복 접근 방식에 비해 탐지 커버리지를 높였다.