[論文レビュー] LSTM Recurrent Neural Networks for Cybersecurity Named Entity Recognition

Houssem Gasmi, Jannik Laval+1 more|arXiv (Cornell University)|Aug 30, 2024

Topic Modeling参考文献 14被引用数 47

ひとこと要約

この論文は、手作りの特徴量に依存せず、十分なサイズの注釈付きコーパスで最先端手法を上回る、サイバーセキュリティの固有表現抽出のドメイン依存を持たない LSTM-CRF アプローチを提案します。

ABSTRACT

The automated and timely conversion of cybersecurity information from unstructured online sources, such as blogs and articles to more formal representations has become a necessity for many applications in the domain nowadays. Named Entity Recognition (NER) is one of the early phases towards this goal. It involves the detection of the relevant domain entities, such as product, version, attack name, etc. in technical documents. Although generally considered a simple task in the information extraction field, it is quite challenging in some domains like cybersecurity because of the complex structure of its entities. The state of the art methods require time-consuming and labor intensive feature engineering that describes the properties of the entities, their context, domain knowledge, and linguistic characteristics. The model demonstrated in this paper is domain independent and does not rely on any features specific to the entities in the cybersecurity domain, hence does not require expert knowledge to perform feature engineering. The method used relies on a type of recurrent neural networks called Long Short-Term Memory (LSTM) and the Conditional Random Fields (CRFs) method. The results we obtained showed that this method outperforms the state of the art methods given an annotated corpus of a decent size.

研究の動機と目的

• 未構造のオンライン情報を正式な表現へ自動化して迅速化すること。
• 複雑な構造とドメイン固有の手掛かりを持つサイバーセキュリティにおける固有表現抽出（NER）の課題に対処する。
• サイバーセキュリティに特有の専門家による特徴量設計を必要としないモデルを開発する。
• ドメイン固有の特徴量なしで、ニューラル系列ラベリング手法が高い性能を達成できることを示す。

提案手法

• シーケンスラベリングのために Long Short-Term Memory (LSTM) 再帰ニューラルネットワークを使用する。
• エンティティの構造化予測のために LSTM と Conditional Random Fields (CRF) を組み合わせる。
• サイバーセキュリティのエンティティに特化した特徴を避け、ドメインに依存しない表現に依拠する。
• 注釈付きコーパスで訓練し、最先端手法と比較評価する。
• 十分に大規模な注釈付きデータセットが与えられた場合に、手法がベースラインを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の特徴量設計を用いない LSTM-CRF モデルは、サイバーセキュリティの固有表現認識を効果的に行えるだろうか？
• RQ2 十分な注釈付きコーパスが提供された場合、ドメインに依存しないニューラル手法はサイバーセキュリティNERの最先端手法を上回るか？
• RQ3 サイバーセキュリティNERにおける LSTM-CRF の性能向上に、注釈データのサイズがどの程度影響するか？

主な発見

• 適度な規模の注釈付きコーパスが与えられた場合、本手法は最先端手法を上回る。