[논문 리뷰] Multi-Level Fine-Tuning, Data Augmentation, and Few-Shot Learning for Specialized Cyber Threat Intelligence

Markus Bayer, Tobias Frey외 1명|arXiv (Cornell University)|2022. 07. 22.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

이 논문은 다수의 수준에서의 보정, GPT-3 기반 데이터 증강, 그리고 소수의 예제 학습을 결합한 새로운 파이프라인을 제안하여, 최소 32개의 레이블이 부여된 인스턴스에서 고정확도의 사이버 위협 지능(CTI) 분류기를 훈련한다. 이 방법은 1,800개의 인스턴스로 훈련된 모델에 비해 F1 스코어가 5점 이내로 떨어지며, 표준 방법보다 21점 이상, 최첨단 소수의 예제 학습 모델보다 18점 이상 높은 성능을 기록한다. 이는 2021년 마이크로소프트 엑스체인지 서버 침해 사건에서 전문가가 애너테이션한 새로운 데이터셋에서의 결과이다.

ABSTRACT

Gathering cyber threat intelligence from open sources is becoming increasingly important for maintaining and achieving a high level of security as systems become larger and more complex. However, these open sources are often subject to information overload. It is therefore useful to apply machine learning models that condense the amount of information to what is necessary. Yet, previous studies and applications have shown that existing classifiers are not able to extract specific information about emerging cybersecurity events due to their low generalization ability. Therefore, we propose a system to overcome this problem by training a new classifier for each new incident. Since this requires a lot of labelled data using standard training methods, we combine three different low-data regime techniques - transfer learning, data augmentation, and few-shot learning - to train a high-quality classifier from very few labelled instances. We evaluated our approach using a novel dataset derived from the Microsoft Exchange Server data breach of 2021 which was labelled by three experts. Our findings reveal an increase in F1 score of more than 21 points compared to standard training methods and more than 18 points compared to a state-of-the-art method in few-shot learning. Furthermore, the classifier trained with this method and 32 instances is only less than 5 F1 score points worse than a classifier trained with 1800 instances.

연구 동기 및 목표

• 기존의 사이버 위협 지능(CTI) 분류기가 새로운, 동적인 사이버 위협에 직면했을 때 일반화 능력이 낮다는 문제를 해결하기 위해.
• 특수화된 CTI 모델을 훈련하기 위한 레이블링 부담을 줄이기 위해 최소한의 레이블된 데이터로도 높은 성능을 달성할 수 있도록 하기 위해.
• 낮은 데이터 제약 조건 기법을 활용하여 신속하게 정확한 분류기를 배포할 수 있는 견고하고 재사용 가능한 프레임워크를 개발하기 위해.
• 실제 사이버 사고에 초점을 맞춘 전문가가 애너테이션한 새로운 CTI 데이터셋을 구축하여 향후 연구를 지원하기 위해.

제안 방법

• 이 방법은 대규모 일반 목적의 언어 모델에서 시작하여 점진적으로 더 구체적인 사이버 위협 영역으로 보정을 수행하는 다수 수준의 전이 학습을 활용한다.
• 데이터 증강은 프롬프팅 전략을 사용한 GPT-3를 활용하여 수행되며, 이후 인간의 참여를 통한 필터링을 통해 레이블의 정확성과 의미적 관련성을 유지한다.
• 소수의 예제 학습은 각 위협 유형에 대해 단지 32개의 레이블된 인스턴스로 모델을 훈련하여 메타학습 원리를 활용해 최소한의 예시에서 일반화하도록 한다.
• 파이프라인은 전이 학습, 데이터 증강, 소수의 예제 학습을 계단식으로 통합하여 점진적으로 모델 성능을 향상시킨다.
• 인간 전문가가 생성된 인스턴스를 필터링하기 위한 경계를 정의하여 원래의 레이블된 데이터와 너무 다를 경우 버리는 방식으로 레이블 일관성을 유지한다.
• 이 방법은 2021년 마이크로소프트 엑스체인지 서버 침해 사건에서 유래한 새로운 데이터셋에서 평가되었으며, 세 명의 전문가가 높은 상호 신뢰도를 유지하면서 애너테이션하였다.

실험 결과

연구 질문

• RQ1 다수 수준의 보정, 데이터 증강, 소수의 예제 학습의 조합이 최소한의 레이블된 데이터로도 전문화된 사이버 위협 지능 분류의 F1 스코어를 크게 향상시킬 수 있는가?
• RQ2 레이블된 데이터가 극도로 제한된 상황에서 인간의 참여를 통한 GPT-3 기반 데이터 증강이 모델의 강건성과 성능 향상에 얼마나 효과적인가?
• RQ3 낮은 데이터 제약 조건에서 다수 수준의 보정이 표준 보정 방법과 최첨단 소수의 예제 학습 방법보다 얼마나 뛰어난가?
• RQ4 데이터 증강이 고도의 보정 및 소수의 예제 학습과 결합되었을 때 모델의 분산과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 실제 사이버 사고를 기반으로 한 전문가가 애너테이션한 새로운 데이터셋이 향후 낮은 데이터 제약 조건의 CTI 연구를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 방법은 마이크로소프트 엑스체인지 서버 침해 사건 데이터셋에서 표준 훈련 방법 대비 F1 스코어가 21점 이상 향상되었다.
• 최첨단 소수의 예제 학습 모델보다 F1 스코어가 18점 이상 높아, 극소수의 예시에서 우수한 일반화 능력을 입증했다.
• 제안된 파이프라인을 사용해 단지 32개의 레이블된 인스턴스로 훈련된 분류기는 1,800개의 인스턴스로 훈련된 모델과 F1 스코어가 5점 이내로 유사한 성능을 기록했다.
• GPT-3 기반 데이터 증강의 포함으로 모델의 표준편차가 감소하여 강건성이 향상되었지만, 다수 수준의 보정과 결합했을 때 절대적인 F1 스코어에 미치는 영향은 미미했다.
• 전문가가 애너테이션한 데이터셋은 높은 상호 신뢰도를 보이며, 향후 전문화된 CTI 연구를 위한 품질과 유용성을 입증했다.
• 데이터 증강을 생략한 경우에도 이 방법은 여전히 효과적이므로, 다수 수준의 보정과 소수의 예제 학습이 성능 향상의 주요 원동력임을 시사한다.