[논문 리뷰] Intelligence-based Cybersecurity Awareness Training- an Exploratory Project

Tam N. Nguyen, Lydia Sbityakov외 1명|arXiv (Cornell University)|2018. 12. 11.

Information and Cyber Security참고 문헌 16인용 수 5

한 줄 요약

이 논문은 사이버 위협 지능과 인간의 반응 데이터를 통합하여 민첩하고 위협 기반의 교육을 제공하는 지능 기반 사이버보안 인식 훈련 모델인 InCAT을 소개한다. IBM Watson 지식 스튜디오를 활용해 도메인 전용 온톨로지를 구축하고 100건의 위협 보고서 및 127건의 평가를 주석 처리함으로써, 시스템은 66%의 실체 커버리지와 75%의 정확도를 달성하여 위험 및 사고 관리에 활용 가능한 실질적인 지능을 제공한다.

ABSTRACT

Cybersecurity training should be adaptable to evolving the cyber threat landscape, cost effective and integrated well with other enterprise management components. Unfortunately, very few cybersecurity training platforms can satisfy such requirements. This paper proposes a new and novel model for conducting cybersecurity training with three main objectives: (i) training should be initiated by emerging relevant threats and delivered first to the most vulnerable members (ii) the process has to be agile (iii) training results must be able to provide actionable intelligence. For the first time, this paper establishes a type system (ontology and associated relationships) that links the domain of cybersecurity awareness training with that of cyber threat intelligence. Powered by IBM Watson Knowledge Studio platform, the proposed method was found to be practical and scalable. Main contributions such as exports of the type system, the manually annotated corpus of 100 threat reports and 127 cybersecurity assessment results, the dictionaries for pre-annotation, etc were made publicly available.

연구 동기 및 목표

• 기업의 위험 및 위협 관리 시스템과 통합되는 적응형, 위협 대응형 사이버보안 인식 훈련의 격차를 해소하기 위해.
• 기존의 규정 준수 중심 또는 지식 기반 훈련의 한계를 극복하여 실제 세계의 인간 행동과 진화하는 위협을 시뮬레이션하지 못하는 문제를 해결하기 위해.
• 확장 가능한, 온톨로지 기반의 프레임워크를 개발하여 사이버보안 인식 훈련을 사이버 위협 지능과 연결함으로써 조직의 회복력 향상을 도모하기 위해.
• 미래의 연구 및 맞춤형 개발을 지원하기 위해 주석 처리된 코퍼스, 유형 체계, 사전 주석 처리 사전 등을 공개 자료로 제공하기 위해.
• 기술적 위협 분석과 인간의 취약성 탐지 사이의 피드백 루프를 구축하여 훈련 결과에서 실질적인 지능을 도출하기 위해.

제안 방법

• IBM Watson 지식 스튜디오를 사용하여 사이버보안 인식 훈련, 위협 지능 및 시스템 로그를 연결하는 도메인 전용 유형 체계(온톨로지)를 구축하기 위해.
• 고품질의 훈련 코퍼스를 만들기 위해 100건의 사이버 위협 보고서와 127건의 사이버보안 평가 결과를 수작업으로 주석 처리하기 위해.
• 코퍼스 전반에 걸쳐 실체 및 관계 레이블링의 효율성과 일관성을 향상시키기 위해 사전 주석 처리 사전을 개발하기 위해.
• 공격-방어 주제에 중점을 두고, 비정형 텍스트에서 실체, 관계, 공명사용을 추출하기 위해 IBM Watson의 자연어 처리 파이프라인을 활용하기 위해.
• 기술적 시각(위협 지능 기반 주제)과 인간적 시각(사용자 반응 분석)의 이중적 분석을 통해 조직의 취약성을 식별하기 위해.
• 기계 학습 모델에 규칙 기반 논리(예: Prolog)를 통합하여 정확도를 향상시키고 훈련 데이터를 초월한 추론 능력을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 실시간 위협 지능과의 통합을 통해 사이버보안 인식 훈련을 어떻게 새로운 위협에 적응형으로 만들 수 있는가?
• RQ2 공유된 유형 체계(온톨로지)가 사이버보안 인식 훈련 데이터, 사이버 위협 지능 및 시스템 로그를 효과적으로 연결할 수 있는가?
• RQ3 IBM Watson를 사용한 기계 학습 기반 주석 처리 파이프라인의 성능은 사이버보안 보고서 및 평가에서 실질적인 실체와 관계를 추출하는 데 얼마나 되는가?
• RQ4 훈련 결과는 기업의 위험 및 위협 관리 시스템에 실질적인 지능으로 어떻게 전환될 수 있는가?
• RQ5 현재의 온톨로지 설계는 사이버보안 맥락에서 자연어의 모호성과 드문 실체 발생을 다룰 때 어떤 한계를 지니는가?

주요 결과

• 제안된 InCAT 모델은 사이버보안 인식 훈련과 사이버 위협 지능을 연결하는 유형 체계를 성공적으로 구축하여 다중 도메인 간 데이터 통합을 위한 기초 온톨로지를 형성하였다.
• 100건의 위협 보고서와 127건의 평가 결과로 구성된 수작업 주석 처리 코퍼스는 향후 연구 및 모델 훈련을 위한 고품질의 공개 가능 데이터셋을 제공한다.
• IBM Watson를 활용한 실체 인식에서 66%의 실체 마킹 커버리지와 75%의 정확도를 달성하여 실질적인 실전 배포 가능성의 타당성을 입증하였다.
• 실체 언급에 대한 이중 주석자 간 일致도는 가중 F1 스코어 0.61을 기록하여, 모호성과 드문 실체 문제에도 불구하고 중간에서 강한 일致성을 보였다.
• 엄격한 계층적 온톨로지의 한계를 규명하여, 더 유연하고 문법 인식 기반의 모델이 성능 향상과 주석 충돌 감소에 기여할 수 있음을 시사하였다.
• 기계 학습 모델에 규칙 기반 논리(예: Prolog)를 통합하는 것이 추론 능력을 향상시키고 대규모 주석 처리 데이터셋에 대한 의존도를 줄이기 위해 권장된다.