[論文レビュー] SecureBERT: A Domain-Specific Language Model for Cybersecurity

Ehsan Aghaei, Xi Niu+2 more|arXiv (Cornell University)|Apr 6, 2022

Cybercrime and Law Enforcement Studies被引用数 9

ひとこと要約

この論文では、11億語のサイバーセキュリティテキストを用いてカスタムトークナイザと変更済み事前学習重みを用いて微調整されたドメイン特化型言語モデル、SecureBERTを提案する。マスクされた言語モデリング、名前付きエンティティ認識、感情分析の各タスクで既存モデルを上回り、サイバーセキュリティ固有の言語および意味の理解において優れた性能を示している。

ABSTRACT

Natural Language Processing (NLP) has recently gained wide attention in cybersecurity, particularly in Cyber Threat Intelligence (CTI) and cyber automation. Increased connection and automation have revolutionized the world's economic and cultural infrastructures, while they have introduced risks in terms of cyber attacks. CTI is information that helps cybersecurity analysts make intelligent security decisions, that is often delivered in the form of natural language text, which must be transformed to machine readable format through an automated procedure before it can be used for automated security measures. This paper proposes SecureBERT, a cybersecurity language model capable of capturing text connotations in cybersecurity text (e.g., CTI) and therefore successful in automation for many critical cybersecurity tasks that would otherwise rely on human expertise and time-consuming manual efforts. SecureBERT has been trained using a large corpus of cybersecurity text.To make SecureBERT effective not just in retaining general English understanding, but also when applied to text with cybersecurity implications, we developed a customized tokenizer as well as a method to alter pre-trained weights. The SecureBERT is evaluated using the standard Masked Language Model (MLM) test as well as two additional standard NLP tasks. Our evaluation studies show that SecureBERT\footnote{\url{https://github.com/ehsanaghaei/SecureBERT}} outperforms existing similar models, confirming its capability for solving crucial NLP tasks in cybersecurity.

研究の動機と目的

• 一般言語モデルがサイバーセキュリティ固有の用語や意味を理解する上で抱える制限を解消すること。
• サイバーセキュリティ脅威インテリジェンス（CTI）テキストを効果的に処理できる、強固でドメイン適応型の言語モデルを開発すること。
• 脆弱性検出、フィッシング識別、侵入分析などのサイバーセキュリティタスクにおける自動化を向上させること。
• 標準NLPモデルが困難を抱えるドメイン固有の同音異義語（例：'patch'、'handshake'）やレアなサイバーセキュリティ用語の処理を克服すること。
• サイバーセキュリティ応用に特化した再利用可能で高性能なNLP基盤モデルを構築すること。

提案手法

• 報告書、研究論文、ニュースなど多様なサイバーセキュリティソースから構成される11億語の巨大コーパスを用いて微調整されたRoBERTaベースアーキテクチャ。
• 標準英語トークンを保持すると同時に、サイバーセキュリティ固有のサブワードおよび未知語を効果的に処理できるカスタムトークナイザを設計。
• 再訓練時にランダムノイズを導入することで事前学習重みを変更し、一般化性能およびドメイン適応性を向上。
• 標準NLPベンチマークを用いて性能を評価：マスクされた言語モデリング（MLM）、名前付きエンティティ認識（NER）、感情分析。
• NERヘッドを全結合層とソフトマックス活性化関数で構築し、クロスエントロピー損失とAdam最適化アルゴリズムを用いて3エポック、バッチサイズ8で学習。
• RoBERTa-base重みを初期値として初期化し、サイバーセキュリティ固有タスクで微調整することでトランスファー学習を実装。

実験結果

リサーチクエスチョン

• RQ1 サイバーセキュリティテキストで学習されたドメイン特化型言語モデルは、一般言語モデルに比べ、サイバーセキュリティ関連言語の理解において優れた性能を示せるか？
• RQ2 カスタムトークナイザは、一般英語語彙とサイバーセキュリティ固有語彙の両方を効果的に保持できるか？
• RQ3 事前学習重みを変更することで、サイバーセキュリティNLPタスクの性能はどの程度向上するか？
• RQ4 SecureBERTは、サイバーセキュリティ固有のテキストと一般英語テキストの両方の入力に対して十分に一般化できるか？
• RQ5 SecureBERTは、サイバーセキュリティ分野における名前付きエンティティ認識および感情分析で最先端の性能を達成できるか？

主な発見

• SecureBERTはMalwareTextDB NERベンチマークでF1スコア86.65を達成し、RoBERTa-base（86.20）およびSciBERT（84.49）を上回った。
• 変更済みバージョンのSecureBERTはリcallが88.10、F1スコアが86.65を記録し、希少または複雑なエンティティに対する強力な性能を示した。
• 標準的なマスクされた言語モデリング（MLM）タスクにおいて、既存モデルを上回り、サイバーセキュリティテキストにおける文脈的意味の理解が強化されていることを確認した。
• 同音異義語やドメイン固有用語（例：'ransomware'、'keylogger'、'exfiltrate'）の処理において、モデルの堅牢性が確認された。
• カスタムトークナイザは、標準英語トークンの98％を保持すると同時に、サイバーセキュリティ固有のサブワードおよびレア語彙を効果的に符号化できた。
• 再訓練時にランダムノイズを導入することで、モデルの一般化性能が向上し、下流タスクでの性能向上に寄与した。