[논문 리뷰] Exploring the Limits of Transfer Learning with Unified Model in the Cybersecurity Domain

Kuntal Kumar Pal, Kazuaki Kashihara외 4명|arXiv (Cornell University)|2023. 02. 20.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 악성코드 보고서, 피싱 URL, 코드 스니펫, 포럼 게시물 등 다양한 사이버보안 텍스트를 훈련 데이터로 사용하여 다중 NLP 작업을 수행할 수 있는 통합 텍스트-투-텍스트 트랜스포머 모델 UTS를 소개한다. 이 모델은 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 새로운 작업과 데이터 분포에 대해 강력한 소수 샘플 일반화 성능을 보이며, 자원이 제한된 환경에서의 주석 비용을 크게 감소시킨다.

ABSTRACT

With the increase in cybersecurity vulnerabilities of software systems, the ways to exploit them are also increasing. Besides these, malware threats, irregular network interactions, and discussions about exploits in public forums are also on the rise. To identify these threats faster, to detect potentially relevant entities from any texts, and to be aware of software vulnerabilities, automated approaches are necessary. Application of natural language processing (NLP) techniques in the Cybersecurity domain can help in achieving this. However, there are challenges such as the diverse nature of texts involved in the cybersecurity domain, the unavailability of large-scale publicly available datasets, and the significant cost of hiring subject matter experts for annotations. One of the solutions is building multi-task models that can be trained jointly with limited data. In this work, we introduce a generative multi-task model, Unified Text-to-Text Cybersecurity (UTS), trained on malware reports, phishing site URLs, programming code constructs, social media data, blogs, news articles, and public forum posts. We show UTS improves the performance of some cybersecurity datasets. We also show that with a few examples, UTS can be adapted to novel unseen tasks and the nature of data

연구 동기 및 목표

• 다양한 텍스트 유형(예: 악성코드 보고서, URL, 코드, 소셜 미디어)을 하나의 모델 아키텍처로 통합하여, 제한적이고 이질적이며 자원이 제한된 사이버보안 데이터셋 문제를 해결한다.
• 전문가 주석의 높은 비용 문제를 해결하기 위해, 단일 통합 모델을 통해 소수의 레이블된 예시(예: 16~32개 샘플)로도 새로운 작업과 데이터 분포에 대한 적응을 가능하게 한다.
• 8개의 NLP 작업을 포함한 13개의 처리된 사이버보안 데이터셋을 텍스트-투-텍스트 형식으로 정규화하여, 표준화된 평가 및 비교를 가능하게 하는 벤치마크를 구축한다.
• 작업별 프롬프트 프리픽스를 사용한 다중 작업 훈련을 통해 기존 사이버보안 NLP 작업의 성능을 향상시키고, 모델의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 텍스트 분류, 명명된 실체 인식, 관계 분류, 이벤트 탐지 등 8개의 NLP 작업을 포함한 13개의 다양한 사이버보안 데이터셋에 T5-base 생성형 트랜스포머 모델을 미세조정한다.
• 작업별 프롬프트 프리픽스(예: '분류: ', '엔터티 추출: ')를 사용하여 통합 텍스트-투-텍스트 프레임워크 내에서 다양한 NLP 작업을 수행하도록 모델를 안내한다.
• 자연어, URL, 코드 구조, 시스템 로그 등 다양한 텍스트 유형에서 동시에 학습함으로써 일반화 능력과 전이 가능성 향상.
• 소수 샘플(예: 16~32개 샘플)으로만 미세조정하여, 새로운 작업과 데이터셋에 대한 제로샷 및 소수 샘플 전이 성능 평가.
• 기존 데이터셋을 표준화된 텍스트-투-텍스트 형식으로 처리 및 재포맷하여 통합 모델 아키텍처와의 호환성 확보.
• 소수 샘플 실험에서 클래스 분포를 유지하고 성능 평가의 변동성 감소를 위해 균형 잡힌 샘플링 전략 적용.

Figure 1: Illustration of $UTS$ (Unified Text-to-Text CyberSecurtiy) model

실험 결과

연구 질문

• RQ1 자연어, URL, 코드 구조 등 다양한 사이버보안 텍스트 유형에서 작동하는 단일 통합 모델이 다양한 NLP 작업을 효과적으로 수행할 수 있는가?
• RQ2 소수의 레이블된 예시(예: 16개 샘플/클래스)로만 미세조정된 통합 모델이 새로운, 알려지지 않은 작업에 대해 얼마나 잘 일반화되는가?
• RQ3 이질적인 데이터셋에서의 다중 작업 훈련이 개별 사이버보안 NLP 작업의 성능을 전문 모델 대비 얼마나 향상시키는가?
• RQ4 사전 훈련 기간에 볼 수 없었던 새로운 텍스트 유형이나 도메인으로의 데이터 분포 이동에 대해 모델의 강건성은 어느 정도인가?
• RQ5 새로운 작업과 데이터 소스에 대해 효과적인 소수 샘플 적응을 가능하게 함으로써 통합 접근 방식이 주석 비용을 크게 줄일 수 있는가?

주요 결과

• UTS는 MalwareTextDB-2와 Phishstorm 두 개의 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하여 문장 분류 및 URL 탐지 작업에서 이전 방법들을 능가한다.
• 모델는 소수 샘플 일반화 능력이 뛰어나, 클래스당 최소 16개의 레이블된 예시로도 의미 있는 성능을 달성한다.
• 다중 작업 훈련은 개별 모델을 훈련시키는 것보다 개별 작업의 성능 향상에 기여하며, 공유 표현 학습이 강건성 향상에 기여함을 시사한다.
• 모델는 새로운 데이터 분포에 대해 효과적으로 일반화되며, 포럼 게시물, 뉴스 기사, 소셜 미디어 콘텐츠 등 다양한 텍스트 유형에서 일관된 성능을 보인다.
• 텍스트-투-텍스트 형식으로 처리된 13개의 데이터셋을 포함한 벤치마크는 사이버보안 NLP 분야의 미래 모델에 대한 표준화된 평가 프레임워크를 제공한다.
• 작업별 프롬프트 프리픽스의 사용은 단일 아키텍처 내에서 다양한 NLP 작업을 명확히 구분하고 수행할 수 있도록 하여, 통합 프레임워크의 효과성을 확인한다.

Figure 2: CLS Example Predictions: MDB and CASIE