[논문 리뷰] Cyber-All-Intel: An AI for Security related Threat Intelligence

Sudip Mittal, Anupam Joshi외 1명|arXiv (Cornell University)|2019. 05. 07.

Advanced Malware Detection Techniques인용 수 27

한 줄 요약

Cyber-All-Intel는 지식 그래프와 신경망 임bedding를 결합한 하이브리드 벡터화 지식 그래프(VKG) 아키텍처를 사용하여 다양한 비정형 소스에서 사이버보안 위협 지능을 추출, 표현 및 분석하는 AI 기반 시스템입니다. 이 시스템은 검색 정확도(MAP 0.80)에서 단독 벡터 모델 및 지식 그래프보다 뛰어나며, 보안 분석가를 위한 사전 경고 및 복잡한 쿼리 처리를 가능하게 합니다.

ABSTRACT

Keeping up with threat intelligence is a must for a security analyst today. There is a volume of information present in `the wild' that affects an organization. We need to develop an artificial intelligence system that scours the intelligence sources, to keep the analyst updated about various threats that pose a risk to her organization. A security analyst who is better `tapped in' can be more effective. In this paper we present, Cyber-All-Intel an artificial intelligence system to aid a security analyst. It is a system for knowledge extraction, representation and analytics in an end-to-end pipeline grounded in the cybersecurity informatics domain. It uses multiple knowledge representations like, vector spaces and knowledge graphs in a 'VKG structure' to store incoming intelligence. The system also uses neural network models to pro-actively improve its knowledge. We have also created a query engine and an alert system that can be used by an analyst to find actionable cybersecurity insights.

연구 동기 및 목표

• 블로그, 소셜 미디어, 어둠 웹 포럼 등 다양한 OSINT 소스에 산재한 분산되고 빠르게 변화하는 위협 지능의 문제를 해결하기 위해.
• 지속적으로 입력, 추출, 표현하는 엔드 투 엔드 AI 시스템을 개발하여 사이버보안 지식을 통합되고 분석 가능한 형태로 제공하기 위해.
• 조직의 시스템 프로파일 기반으로 복잡한 쿼리 및 사전 경고를 가능하게 하여 위협 탐지 및 분석가의 의사결정을 향상시키기 위해.
• 신경망 임베딩과 구조적 지식 그래프 간의 双방향 학습 루프를 구축하여 정확도와 커버리지 향상을 위해.
• 실제 위협 데이터를 활용하여 지식 검색, 쿼리 처리 및 경고 관련성 성능 평가를 수행하기 위해.

제안 방법

• NVD, 어둠 웹 마켓, 블로그, 소셜 미디어 등 다양한 OSINT 소스에서 비정형 사이버보안 텍스트를 수신합니다.
• NLP 기법을 사용해 엔티티와 관계를 추출하고, 명시적 지식 그래프와 분산 벡터 임베딩을 통합한 벡터화 지능 그래프(VKG)에 할당합니다.
• 기본 온톨로지에 임베딩 인식 관계를 추가하여 상징적 표현과 분산 표현을 함께 고려하는 추론을 가능하게 하는 VKG 아키텍처를 구현합니다.
• 신경망을 사용해 지식 그래프(관계 예측을 통한)와 벡터 임베딩(맥락 모델링을 통한)을 반복적으로 향상시킵니다.
• 지식 그래프 컴포onent을 활용해 복잡하고 선언적인 쿼리(예: 'MySQL에서 서비스 거부 공격와 유사한 취약성 목록을 나열하라')를 지원하는 쿼리 엔진을 운영합니다.
• 기존 제품의 벡터 이웃성과 조직의 시스템 프로파일을 기반으로 들어오는 위협을 매칭하여 기관별 맞춤형 경고를 생성하는 알림 추천 시스템을 구현합니다.

실험 결과

연구 질문

• RQ1 다양한 OSINT 소스에서 온 비정형 위협 지능을 통합되고 분석 가능한 형태로 효과적으로 추출하고 표현할 수 있는가?
• RQ2 벡터 임베딩과 상징적 지능 그래프를 융합할 경우, 개별적으로 사용할 때보다 검색 및 추론 성능이 얼마나 향상되는가?
• RQ3 하이브리드 VKG 아키텍처가 보안 분석가를 위한 복잡한 실행 가능한 쿼리 및 실시간 경고 기능을 지원할 수 있는가?
• RQ4 임베딩과 지능 그래프 간의 이중 방향 학습이 시간이 지남에 따라 정확도와 커버리지 향상에 기여하는가?
• RQ5 시스템이 생성한 경고가 실제 위협 탐지 시나리오에서 얼마나 유용한가?

주요 결과

• VKG 검색은 평균 정밀도(MAP) 0.80을 기록하여 단독 벡터 모델(MAP 0.69)과 지능 그래프(MAP 0.43)보다 뚜렷이 뛰어났습니다.
• 벡터 임베딩은 56개의 유사성 그룹 중 47개에서 지능 그래프를 능가했으며, 특히 공격, 제품, 취약성 표현에서 뛰어난 성능을 보였습니다.
• 인간 평가자에 의한 평가 결과, 자동으로 추출된 지능 그래프 트리플의 83%가 정확하게 평가되었고, 9%는 부분적으로 정확하며, 8%는 잘못된 것으로 판단되었습니다.
• 사용자 연구에서 55개의 시스템 생성 경고 중 43개가 유용하다고 평가되었고, 9개는 약간 유용하다고 평가되었으며, 오직 3개만이 무용하다고 평가되어 실용적 관련성이 높음을 확인했습니다.
• 공유 라이브러리 종속성과 DBpedia 연결성을 통한 지능 증강이 경고 정밀도와 맥락적 관련성을 향상시켰습니다.
• 신경망 임베딩과 지능 그래프 간의 이중 방향 학습 루프가 임베딩 품질 향상과 상징적 관계의 완전성 향상에 기여했습니다.