[論文レビュー] Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts

Arpita Roy, Youngja Park+1 more|arXiv (Cornell University)|Sep 21, 2017

Topic Modeling参考文献 24被引用数 32

ひとこと要約

本稿では、マルウェアの種別、意味的カテゴリー、関係性といった多様なドメイン知識をテキストアノテーションを通じて統合することにより、スパースなサイバーセキュリティテキストコーパスにおいて高品質なドメイン特化型単語埋め込みを学習するための新規フレームワークを提案する。Word and Annotation Embedding (WAE) モデル、特に JWAP 変種は、階層的ソフトマックスと豊富なアノテーションを活用することで、マルウェアおよびCVEデータセットにおいて、最先端手法を大きく上回り、平均逆順位（MRR）が22–57%向上した。

ABSTRACT

Word embedding is a Natural Language Processing (NLP) technique that automatically maps words from a vocabulary to vectors of real numbers in an embedding space. It has been widely used in recent years to boost the performance of a vari-ety of NLP tasks such as Named Entity Recognition, Syntac-tic Parsing and Sentiment Analysis. Classic word embedding methods such as Word2Vec and GloVe work well when they are given a large text corpus. When the input texts are sparse as in many specialized domains (e.g., cybersecurity), these methods often fail to produce high-quality vectors. In this pa-per, we describe a novel method to train domain-specificword embeddings from sparse texts. In addition to domain texts, our method also leverages diverse types of domain knowledge such as domain vocabulary and semantic relations. Specifi-cally, we first propose a general framework to encode diverse types of domain knowledge as text annotations. Then we de-velop a novel Word Annotation Embedding (WAE) algorithm to incorporate diverse types of text annotations in word em-bedding. We have evaluated our method on two cybersecurity text corpora: a malware description corpus and a Common Vulnerability and Exposure (CVE) corpus. Our evaluation re-sults have demonstrated the effectiveness of our method in learning domain-specific word embeddings.

研究の動機と目的

• スパースで専門性の高い分野（例：サイバーセキュリティ）において、Word2Vec や GloVe といった従来の単語埋め込みモデルが発揮する性能が低い問題に対処すること。
• サイバーセキュリティのテキストに存在するが未活用に近いドメイン知識（例：マルウェアの種別、意味的カテゴリー、関係性）を活用し、単語表現の質を向上させること。
• 多様なタイプのドメイン知識をテキストアノテーションとして符号化する統合的で柔軟なフレームワークを構築すること。
• 単語とアノテーションの表現を同時に学習する新しい「単語とアノテーション埋め込み（WAE）」アルゴリズムの設計と評価。
• 本手法の有効性を、マルウェア記述やCVEレコードを含む実世界のサイバーセキュリティデータセット上で実証すること。

提案手法

• 多様なドメイン知識（語彙、意味的カテゴリー、関係性など）を構造化されたテキストアノテーションとして符号化する一般的なフレームワークを提案する。
• Word and Annotation Embedding (WAE) アルゴリズムは、従来のスキップグラムおよびCBOWモデルを拡張し、学習中に単語とアノテーションの両方の文脈を統合する。
• JWAP（Joint Word and Annotation Prediction）モデルは、ターゲット単語を用いて周囲の単語とアノテーションを予測する。これはスキップグラムモデルの一般化である。
• AAWP（Annotation and Word Prediction）モデルは、文脈にある単語とアノテーションを用いてターゲット単語を予測する。これはCBOWモデルの一般化である。
• 希少語や低頻度語の間の意味的関係をより良く捉えるために、学習に階層的ソフトマックスを用いる。
• アノテーションは、マルウェアの種別など既存のメタデータから抽出され、埋め込み学習の際の追加的文脈として扱われる。

実験結果

リサーチクエスチョン

• RQ1 多様なドメイン知識を単語埋め込みに統合することで、リソースが限られたスパースなサイバーセキュリティテキストコーパスにおける性能が向上するか？
• RQ2 提案されたWAEモデルは、汎用的およびドメイン特化型の単語埋め込みベースラインと比較して、サイバーセキュリティテキストにおける意味的関係をどれほど正確に捉えられるか？
• RQ3 階層的ソフトマックスの使用は、希少語のドメイン用語の学習において、ネガティブサンプリングを上回る性能を発揮するか？
• RQ4 文書レベルの埋め込み（例：Doc2Vec）や語彙ベースのアプローチ（例：Dis2Vec）は、サイバーセキュリティNLPタスクの性能向上にどれほど寄与するか？
• RQ5 モデルの性能は、ドメインアノテーションの整合性と品質にどれほど敏感か？

主な発見

• JWAPモデルは、マルウェアデータセットで最高のMRR12%を達成し、次に優れたベースライン（リファーミングと階層的ソフトマックス付きスキップグラム）を57.14%上回った。
• CVEデータセットでは、JWAPモデルがMRR7%を達成し、次に優れたモデル（リファーミングと階層的ソフトマックス付きスキップグラム）を22.22%上回った。
• JWAPモデルは、AAWPモデルおよびすべてのベースラインモデルを一貫して上回り、ターゲット単語から文脈の単語とアノテーションを予測するアプローチが逆方向の予測よりも効果的であることを示した。
• 文書レベルの埋め込み（例：Doc2Vec）や語彙ベースのアプローチ（例：Dis2Vec）に依存するモデルは性能が低く、この文脈では意味的関係の学習に限界があることを示唆した。
• 階層的ソフトマックスは、ネガティブサンプリングを上回ったが、特にユニークなマルウェア名のような希少語のドメインコンセプトをより効果的に処理できたため、その効果が顕著であった。
• 複数ベンダー間で異なるマルウェア種別ラベルが存在するような不整合なアノテーションは、モデル性能に悪影響を及ぼした。これは、アノテーション品質の重要性を強調している。