[논문 리뷰] NLP-Based Techniques for Cyber Threat Intelligence

Marco Arazzi, Dincy R. Arikkat외 5명|arXiv (Cornell University)|2023. 11. 15.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 종합적 서베이는 NLP 기반 기반의 사이버 위협 지능(Cyber Threat Intelligence, CTI) 기술에 대한 포괄적인 분석을 제공하며, 클리어 웹, 다크 웹, 소셜 웹 소스에서의 데이터 크롤링, 텍스트 처리, 엔터티 및 관계 추출, 지식 그래프 구축, CTI 공유를 포함한다. NLP가 비정형 텍스트 데이터에서 실행 가능한 지능을 도출함으로써 위협 탐지 자동화, 분석가의 효율성 향상, 사전 대응 방어의 실현에 필수적임을 밝힌다.

ABSTRACT

In the digital era, threat actors employ sophisticated techniques for which, often, digital traces in the form of textual data are available. Cyber Threat Intelligence~(CTI) is related to all the solutions inherent to data collection, processing, and analysis useful to understand a threat actor's targets and attack behavior. Currently, CTI is assuming an always more crucial role in identifying and mitigating threats and enabling proactive defense strategies. In this context, NLP, an artificial intelligence branch, has emerged as a powerful tool for enhancing threat intelligence capabilities. This survey paper provides a comprehensive overview of NLP-based techniques applied in the context of threat intelligence. It begins by describing the foundational definitions and principles of CTI as a major tool for safeguarding digital assets. It then undertakes a thorough examination of NLP-based techniques for CTI data crawling from Web sources, CTI data analysis, Relation Extraction from cybersecurity data, CTI sharing and collaboration, and security threats of CTI. Finally, the challenges and limitations of NLP in threat intelligence are exhaustively examined, including data quality issues and ethical considerations. This survey draws a complete framework and serves as a valuable resource for security professionals and researchers seeking to understand the state-of-the-art NLP-based threat intelligence techniques and their potential impact on cybersecurity.

연구 동기 및 목표

• 이 분야에 종합적인 서베이가 부족한 상황를 감안해, 사이버 위협 지능(CTI) 분야의 NLP 기반 기술에 대한 체계적이고 최신의 개요를 제공하기 위해.
• 데이터 수집 및 전처리에서 분석, 공유, 표준화에 이르는 전체 CTI 라이프사이클을 다루며, NLP 응용에 중점을 두어 검토하기 위해.
• 명시적 실체 인식(Named Entity Recognition, NER), 관계 추출, 텍스트 분류, 요약 등 핵심 NLP 기법이 CTI 맥락에서 어떻게 적용되고 있는지 식별하고 분석하기 위해.
• 데이터 품질, 다국어 위협 분석, 악성 공격, 윤리적 문제 등 NLP를 통한 CTI 적용 시 발생하는 과제를 조사하기 위해.
• 연구자 및 실무자들이 NLP 기반 CTI 분야의 현재 연구 동향, 도구, 개방형 연구 방향을 맵핑할 수 있는 기초 자료로 기여하기 위해.

제안 방법

• 2010~2023년 사이에 주요 컫퍼런스, 저널, 워크숍에서 발표된 NLP 및 CTI 분야에 중점된 192편의 동료 심사 논문을 대상으로 한 체계적 문헌 서베이.
• CTI 단계별 NLP 기법 분류: 데이터 크롤링(클리어 웹, 소셜 미디어, 다크 웹), 전처리, 텍스트 표현, NLP 모델링.
• 위협 보고서 및 포럼에서 텍스트 분류, 유사도, 군집화, 토픽 탐지, 요약, 다국어 분석에 NLP 모델을 적용.
• 명시적 실체 인식(NER) 및 관계 추출을 통해 비정형 텍스트에서 지침의 증거(IoCs) 및 전술, 기법, 절차(TTPs)를 추출.
• 추출된 실체와 관계를 기반으로 지식 그래프를 구축하여 사이버 위협과 위협 행위자에 대한 맥락적 표현을 제공.
• CTI 공유 플랫폼, 표준화 프로토콜(예: STIX/TAXII) 및 개인정보 보호, 데이터 품질, 악성 공격과 관련된 과제 분석.

실험 결과

연구 질문

• RQ1 소셜 미디어, 클리어 웹, 다크 웹와 같은 이질적 소스에서 CTI 데이터를 수집하고 처리하는 데 사용되는 현재의 NLP 기법은 무엇인가?
• RQ2 NLP 모델은 비정형 텍스트 데이터에서 IoCs, TTPs, 위협 행위자 프로파일과 같은 실행 가능한 지능을 어떻게 추출하는가?
• RQ3 CTI 분야에서 관계 추출 및 지식 그래프 구축의 최신 기법은 무엇이며, 이러한 기법들은 위협 맥락 모델링을 어떻게 향상시키는가?
• RQ4 데이터 품질, 다국어 문제, 악성 공격 등 NLP를 CTI에 적용할 때 발생하는 주요 과제는 무엇인가?
• RQ5 표준화 노력과 정보 공유 플랫폼은 NLP 기반 CTI 시스템의 효과성과 보안에 어떤 영향을 미치는가?

주요 결과

• 서베이에서는 관련 연구 192편을 식별하였으며, 그 중 가장 많은 논문(26편)이 다크 웹 및 딥 웹에서의 크롤링에 집중되어 있어, 이러한 소스가 위협 지능에서 중요한 역할을 한다는 점을 시사한다.
• CTI 분야에서 가장 많이 연구된 NLP 작업은 명시적 실체 인식(NER)으로, IoCs 및 TTPs를 위협 보고서 및 포럼에서 추출하는 데 응용된 30편의 논문이 분석되었다.
• 관계 추출(23편)과 지식 그래프 구축(26편)은 위협 행위자, 도구, 인프라 간의 복잡한 관계를 모델링하는 데 핵심적인 역할을 한다.
• 다국어 NLP는 아직 다루지 않은 분야로, 다국어 위협 지능을 다룬 논문은 단 5편 뿐이며, 특히 다크 웹의 비영어 콘텐츠에 대한 연구가 부족한 상황이다.
• 텍스트 분류(21편)와 토픽 탐지(10편)는 위협 분류 및 추세 분석에 널리 사용되어 조기 경고 시스템을 가능하게 한다.
• NLP 모델에 대한 악성 공격은 점점 증가하는 우려 사항이며, 이에 대해 직접적으로 다룬 논문은 단 2편 뿐으로, 모델의 강건성에 대한 연구 격차가 명백히 드러난다.