[논문 리뷰] LSTM Recurrent Neural Networks for Cybersecurity Named Entity Recognition

Houssem Gasmi, Jannik Laval외 1명|arXiv (Cornell University)|2024. 08. 30.

Topic Modeling참고 문헌 14인용 수 47

한 줄 요약

본 논문은 수작업으로 설계된 특징에 의존하지 않는 도메인 독립적인 LSTM-CRF 접근법으로 사이버 보안 명명 엔티티 인식(NER)을 제시하며, 충분히 규모가 있는 주석 데이터가 포함된 말뭉치에서 최첨단 방법들보다 우수한 성능을 보인다.

ABSTRACT

The automated and timely conversion of cybersecurity information from unstructured online sources, such as blogs and articles to more formal representations has become a necessity for many applications in the domain nowadays. Named Entity Recognition (NER) is one of the early phases towards this goal. It involves the detection of the relevant domain entities, such as product, version, attack name, etc. in technical documents. Although generally considered a simple task in the information extraction field, it is quite challenging in some domains like cybersecurity because of the complex structure of its entities. The state of the art methods require time-consuming and labor intensive feature engineering that describes the properties of the entities, their context, domain knowledge, and linguistic characteristics. The model demonstrated in this paper is domain independent and does not rely on any features specific to the entities in the cybersecurity domain, hence does not require expert knowledge to perform feature engineering. The method used relies on a type of recurrent neural networks called Long Short-Term Memory (LSTM) and the Conditional Random Fields (CRFs) method. The results we obtained showed that this method outperforms the state of the art methods given an annotated corpus of a decent size.

연구 동기 및 목표

• 비정형 온라인 소스의 사이버 보안 정보를 형식적 표현으로 자동화하고 신속하게 변환한다.
• 구성 요소가 복잡하고 도메인 특유의 신호를 갖는 사이버 보안의 NER 문제를 다룬다.
• 사이버 보안에 특화된 전문가 수준의 특징 엔지니어링이 필요하지 않은 모델을 개발한다.
• 도메인 특화 특징 없이도 신경망 순서 표기 방식이 강력한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 시퀀스 라벨링에 LSTM(Long Short-Term Memory) 순환 신경망을 사용한다.
• 개체의 구조적 예측을 위해 LSTM과 CRF(Conditional Random Fields)를 결합한다.
• 사이버 보안 엔티티에 맞춘 어떠한 특징도 피하고 도메인 독립적 표현에 의지한다.
• 주석이 달린 말뭉치에서 학습하고 최첨단 방법과 비교 평가한다.
• 충분히 큰 주석 데이터 세트가 주어지면 이 접근법이 베이스라인보다 우수하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 도메인 특화 특징 공학 없이도 LSTM-CRF 모델이 사이버 보안 명명 엔티티 인식을 효과적으로 수행할 수 있는가?
• RQ2 적당한 주석 말뭉치를 제공받으면 도메인 독립적 신경망 접근이 사이버 보안 NER에서 최첨단 방법을 능가하는가?
• RQ3 사이버 보안 NER에서 주석 데이터의 규모가 LSTM-CRF의 성능 향상에 어느 정도 영향을 미치는가?

주요 결과

• 충분한 크기의 주석 말뭉치를 주어진 경우 이 방법이 최첨단 방법을 능가한다.