[論文レビュー] CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain

Markus Bayer, Philipp Kuehn+2 more|TUbilio (Technical University of Darmstadt)|Dec 6, 2022

Topic Modeling被引用数 12

ひとこと要約

CySecBERT は、サイバーセキュリティ固有のコーパスを精査して微調整された BERT ベースの言語モデルであり、サイバーセキュリティタスクにおける自然言語理解を向上させるために設計されている。一般言語モデルや関連分野特化モデルを上回る性能を示し、一般言語知識の著しい消失（catastrophic forgetting）を軽減する。

ABSTRACT

The field of cybersecurity is evolving fast. Experts need to be informed about past, current and - in the best case - upcoming threats, because attacks are becoming more advanced, targets bigger and systems more complex. As this cannot be addressed manually, cybersecurity experts need to rely on machine learning techniques. In the texutual domain, pre-trained language models like BERT have shown to be helpful, by providing a good baseline for further fine-tuning. However, due to the domain-knowledge and many technical terms in cybersecurity general language models might miss the gist of textual information, hence doing more harm than good. For this reason, we create a high-quality dataset and present a language model specifically tailored to the cybersecurity domain, which can serve as a basic building block for cybersecurity systems that deal with natural language. The model is compared with other models based on 15 different domain-dependent extrinsic and intrinsic tasks as well as general tasks from the SuperGLUE benchmark. On the one hand, the results of the intrinsic tasks show that our model improves the internal representation space of words compared to the other models. On the other hand, the extrinsic, domain-dependent tasks, consisting of sequence tagging and classification, show that the model is best in specific application scenarios, in contrast to the others. Furthermore, we show that our approach against catastrophic forgetting works, as the model is able to retrieve the previously trained domain-independent knowledge. The used dataset and trained model are made publicly available

研究の動機と目的

• BERT などの汎用的言語モデルがサイバーセキュリティ固有の用語や文脈を理解する点での限界を解消すること。
• 学術論文、脆弱性データベース、Web ページ、ソーシャルメディアを統合した高品質で多様なデータセットを構築し、事前学習に用いること。
• 一般言語能力を維持しながら、サイバーセキュリティ分野に特化した言語モデルを構築すること。
• 内在的および外在的タスクの両方でモデルの性能を評価し、有効性と頑健性を検証すること。
• ドメイン適応中に一般言語知識が失われることを防ぐために、著しい消失（catastrophic forgetting）を緩和すること。

提案手法

• National Vulnerability Database や学術論文、Web ページ、Twitter など多様なソースを含む大規模で精査済みのサイバーセキュリティコーパスを用いて、BERT ベースのモデルを事前学習する。
• ドメイン特化データを用いてモデルの表現を微調整し、サイバーセキュリティ固有の意味的特徴や技術用語の捉え方を強化する。
• 構造的・意味的知識を保持するために、ドメイン特化コーパス上で標準的な BERT 事前学習目的（マスク言語モデルと次文予測）を適用する。
• 継続的学習戦略を導入し、ドメイン適応中に一般言語能力が失われることを防ぐ。これにより、初期事前学習で得た一般言語能力を維持できる。
• 内在的タスク（例：語の類似度、類推）と外在的タスク（例：シーケンスタグギング、テキスト分類）の両方を用いてモデルを評価する。
• SuperGLUE を含む標準化されたベンチマークを用いて、CySecBERT を一般 BERT や関連分野特化モデル、ベースラインモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 CySecBERT は、一般モデルおよび関連分野特化モデルと比較して、サイバーセキュリティ分野における語の表現品質をどの程度向上させるか？
• RQ2 CySecBERT は、サイバーリスク情報抽出や分類といった外在的・分野特化 NLP タスクでどの程度の性能を示すか？
• RQ3 ドメイン適応プロセスによって一般言語知識の著しい消失（catastrophic forgetting）が生じるか？ また、その影響は効果的に軽減できるか？
• RQ4 既存のモデルと比較して、CySecBERT は多様なサイバーセキュリティ NLP タスクにどの程度一般化できるか？
• RQ5 提案されたデータセットとモデルは、今後のサイバーセキュリティ NLP 分野における研究や実用的応用の再利用可能な基盤として機能できるか？

主な発見

• CySecBERT は、15 の内在的および外在的サイバーセキュリティタスクで最先端の性能を達成し、分野特化的な語の表現品質が優れていることを示している。
• シーケンスタグギングやテキスト分類といった外在的タスクにおいて、一般 BERT や関連サイバーセキュリティモデルを上回る性能を示しており、特にサイバーセキュリティ固有の言語に対して顕著な優位性を示している。
• 著しい消失（catastrophic forgetting）は最小限に抑えられており、ドメイン適応後も SuperGLUE ベンチマークで高い性能を維持しており、一般言語知識の効果的な保持が確認された。
• 内在的評価により、CySecBERT がベースラインモデルと比較して、サイバーセキュリティ用語に対してより意味的に正確で文脈に適った表現を学習していることが確認された。
• リリースされたデータセットとモデルは公開されており、再現性を確保するとともに、サイバーセキュリティ NLP 分野におけるさらなる研究を促進する。
• アラート集約、フィッシング検出、マルウェア解析などのサイバーセキュリティパイプラインへの実用的導入に適しており、頑健さと分野特化性の両方を備えている。