[논문 리뷰] ThreatKG: An AI-Powered System for Automated Open-Source Cyber Threat Intelligence Gathering and Management

Peng Gao, Xiaoyuan Liu외 4명|arXiv (Cornell University)|2022. 12. 20.

Terrorism, Counterterrorism, and Political Violence인용 수 9

한 줄 요약

ThreatKG는 계층적 온톨로지와 딥러닝을 활용해 비정형 오픈소스 사이버 위협 지능(OSCTI) 보고서에서 고정밀도의 사이버 위협 지식을 자동으로 수집, 추출 및 구조화하는 인공지능 기반 시스템이다. 이 시스템은 IOCs, 위협 행위자, TTPs 및 의미 관계를 포함하는 확장성 있고 지속적으로 업데이트되는 위협 지식 그래프를 구축하여, 기존의 IOC 중심 접근 방식에 비해 위협 맥락 인식 능력을 크게 향상시킨다.

ABSTRACT

Open-source cyber threat intelligence (OSCTI) has become essential for keeping up with the rapidly changing threat landscape. However, current OSCTI gathering and management solutions mainly focus on structured Indicators of Compromise (IOC) feeds, which are low-level and isolated, providing only a narrow view of potential threats. Meanwhile, the extensive and interconnected knowledge found in the unstructured text of numerous OSCTI reports (e.g., security articles, threat reports) available publicly is still largely underexplored. To bridge the gap, we propose ThreatKG, an automated system for OSCTI gathering and management. ThreatKG efficiently collects a large number of OSCTI reports from multiple sources, leverages specialized AI-based techniques to extract high-quality knowledge about various threat entities and their relationships, and constructs and continuously updates a threat knowledge graph by integrating new OSCTI data. ThreatKG features a modular and extensible design, allowing for the addition of components to accommodate diverse OSCTI report structures and knowledge types. Our extensive evaluations demonstrate ThreatKG's practical effectiveness in enhancing threat knowledge gathering and management.

연구 동기 및 목표

• 비정형 OSCTI 보고서에 포함된 위협 행위자, TTPs, IOC 관계와 같은 풍부한 맥락적 엔티티를 포함한 종합적인 위협 지식을 자동으로 수확할 수 있는 시스템의 부족을 해결한다.
• 다양한 보고서 형식, 자연어의 미묘한 특성, 대규모 애너테이션 훈련 코퍼스의 부재로 인해 고정밀도의 위협 지식을 추출하는 데 도전하는 문제를 극복한다.
• 새로운 보고서를 수신하고 지식 기반을 실시간으로 업데이트함으로써 지속적이고 확장 가능하며 스케일러블한 위협 지식 그래프 구축을 가능하게 한다.
• 기존 CTI 표준 및 플랫폼과의 통합을 지원하는 고도로 통합된 위협 지식의 구조화된 표현을 제공한다.

제안 방법

• IOCs, 위협 행위자, TTPs 등의 다양한 위협 지식 엔티티와 그들의 의미 관계(예: '시작함', '사용함')를 모델링하기 위한 계층적 온톨로지를 설계한다.
• 비정형 텍스트에서 정확한 엔티티 및 관계 추출을 위한 딥러닝 기반 파이프라인을 구현하며, 보안 전용 토큰화 및 문법적 특성 처리를 전용으로 통합한다.
• 다양한 소스에서 자동으로 보고서를 수집하고, 지식 추출, 그래프 구축, 지속 저장, 점진적 업데이트를 지원하는 확장성 있고 유연한 시스템 아키텍처를 구축한다.
• 다양한 형식을 처리하고 OSCTI 보고서에서 광고, 홍보성 콘텐츠 등 비위협 콘텐츠를 걸러내기 위해 다수의 NLP 및 머신러닝 기법을 통합한다.
• 구축된 위협 지식 그래프를 STIX 및 OpenIOC와 같은 표준 CTI 형식으로 변환하여 기존 플랫폼과의 상호운용성을 확보한다.
• 위협 분석가가 위협 관계를 질의하고 탐색할 수 있도록 GUI를 통한 상호작용적 탐색 기능을 제공한다.

실험 결과

연구 질문

• RQ1 다양한 형식과 복잡한 언어를 지닌 비정형 OSCTI 보고서에서 IOCs를 초월한 고정밀도의 다층적 위협 지식을 어떻게 자동으로 추출할 수 있는가?
• RQ2 스트리밍 방식의 OSCTI 보고서에서 대규모 위협 지식 그래프를 지속적이고 확장 가능하며 스케일러블하게 구축하고 업데이트할 수 있는 시스템 아키텍처는 어떻게 설계할 수 있는가?
• RQ3 계층적 온톨로지와 딥러닝 파이프라인은 기존의 IOC 중심 또는 단일 보고서 기반 추출 방법에 비해 위협 지식 추출 정확도와 커버리지에서 얼마나 향상되는가?
• RQ4 구축된 위협 지식 그래프는 기존의 전통적 IOC 피드에 비해 종합적인 위협 시나리오 재구성 및 방어 능력 향상에 얼마나 효과적으로 기여하는가?

주요 결과

• ThreatKG는 다양한 OSCTI 보고서 형식에서 고정밀도로 IOCs, 위협 행위자, TTPs, 의미 관계 등 광범위한 위협 엔티티를 성공적으로 추출한다.
• 시스템은 새로운 위협 보고서를 지속적으로 수신하고 통합함으로써 업데이트된 지속 가능한 위협 지식 그래프를 구성함으로써 확장성과 유연성을 입증한다.
• 평가 결과, ThreatKG는 연결된 지식을 통해 완전한 다단계 위협 시나리오를 포착함으로써 기존의 IOC 중심 시스템을 뛰어넘는 성능을 보이며 더 나은 위협 이해를 가능하게 한다.
• 구축된 위협 지식 그래프를 통해 공격자 행동 패tern을 모델링함으로써 서명 변경에 강건한 위협 탐지 및 대응 능력이 향상된다.
• 추출된 지식을 STIX와 같은 표준 형식으로 변환할 수 있는 능력 덕분에 AlienVault OTX 및 OpenCTI와 같은 기존 CTI 플랫폼과 원활한 통합이 가능하다.
• GUI 기반의 지식 그래프 탐색은 복잡한 위협 관계를 질의하고 시각화할 수 있도록 하여 분석가의 생산성을 향상시킨다.