[논문 리뷰] Time for aCTIon: Automated Analysis of Cyber Threat Intelligence in the Wild

Giuseppe Siracusano, Davide Sanvito외 7명|arXiv (Cornell University)|2023. 07. 14.

Software Engineering Research인용 수 12

한 줄 요약

논문은 aCTIon, unstructured reports에서 STIX 번들을 생성하기 위한 GPT-3.5 기반 파이프라인을 사용하는 자동 CTI 추출 프레임워크를 소개하며, 204개의 보고서를 포함한 대형 공개 벤치마크로 이를 지원하고, 기존 방법 대비 F1-score에서 상당한 향상를 달성합니다.

ABSTRACT

Cyber Threat Intelligence (CTI) plays a crucial role in assessing risks and enhancing security for organizations. However, the process of extracting relevant information from unstructured text sources can be expensive and time-consuming. Our empirical experience shows that existing tools for automated structured CTI extraction have performance limitations. Furthermore, the community lacks a common benchmark to quantitatively assess their performance. We fill these gaps providing a new large open benchmark dataset and aCTIon, a structured CTI information extraction tool. The dataset includes 204 real-world publicly available reports and their corresponding structured CTI information in STIX format. Our team curated the dataset involving three independent groups of CTI analysts working over the course of several months. To the best of our knowledge, this dataset is two orders of magnitude larger than previously released open source datasets. We then design aCTIon, leveraging recently introduced large language models (GPT3.5) in the context of two custom information extraction pipelines. We compare our method with 10 solutions presented in previous work, for which we develop our own implementations when open-source implementations were lacking. Our results show that aCTIon outperforms previous work for structured CTI extraction with an improvement of the F1-score from 10%points to 50%points across all tasks.

연구 동기 및 목표

• 구조화된 CTI 추출을 위한 크고 공개된 벤치마크의 부족과 기존 도구의 한계를 해결합니다.
• 대형 언어 모델을 활용한 자동 CTI 정보 추출 파이프라인을 개발합니다.
• 현실적인 CTI 벤치마크에서 최첨단 도구를 평가하고 LLM 기반 방법으로 향상을 입증합니다.
• 연구 확산을 촉진하기 위해 CTI 보고서와 그들의 STIX 번들 데이터세트를 공개합니다.

제안 방법

• 일반 엔터티/관계 추출용 파이프라인과 공격 패턴에 특화된 파이프라인의 이원 구조를 제공합니다.
• 사전처리로 텍스트를 증류하고 추출로 CTI 엔티티를 식별 및 분류하는 2단계 LLM 워크플로우를 활용하며, 서비스형 LLM(GPT-3.5-turbo) 및 프롬프트 기반 추론을 사용합니다.
• 입력 내용에 고정된 추론자로 모델을 활용하고 검증 단계와 번들 검토를 추가하여 LLM 환각을 완화합니다.
• 4k 토큰 입력/출력 제약에 맞추기 위해 반복적 요약으로 길고 비구조화된 보고서를 증류합니다.
• 품질을 보장하기 위해 Group C의 분석가를 통한 추출된 STIX 번들의 수동 검증 및 검토를 수행합니다.

실험 결과

연구 질문

• RQ1 현 실험 벤치마크에서 구조화된 CTI 추출을 현재 도구가 얼마나 잘 수행할 수 있는가?
• RQ2 LLM 기반 프롬프트 및 맥락 내 학습이 CTI 리포트에서 맬웨어, 위협 행위자, 대상 및 공격 패턴 엔티티 추출을 개선할 수 있는가?
• RQ3 환각을 줄이고 CTI 지표의 정확도를 유지하기 위해 어떤 디자인 선택(전처리, 프롬프트, 검증)이 효과적인가?
• RQ4 고품질 STIX 번들을 생산하는 데 있어 자동화와 분석가 검증 사이의 트레이드오프는 무엇인가?

주요 결과

• ACTIon은 이전 최첨단 도구를 능가하여 맬웨어, 위협 행위자, 대상 추출의 F1-점수를 15~50포인트 증가시킵니다.
• 공격 패턴 추출은 aCTIon에서 약 10포인트의 F1-점수 향상을 보입니다.
• 보고서는 204개의 보고서와 STIX 번들을 포함하며, 9개의 엔티티 유형과 5개의 관계 유형에 걸쳐 총 36.1k 엔티티와 13.6k 관계가 있습니다.
• 보고서는 62개 출처에 걸쳐 MITRE ATT&CK Enterprise 기술의 90%를 다루며 188개의 맬웨어 변형과 91명의 위협 행위자를 대표합니다.
• 저자들은 재현성과 추가 연구를 가능하게 하기 위해 데이터세트를 공개합니다.