[論文レビュー] NLP-Based Techniques for Cyber Threat Intelligence

Marco Arazzi, Dincy R. Arikkat+5 more|arXiv (Cornell University)|Nov 15, 2023

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

本サーベイは、クリアウェブ、ダークウェブ、ソーシャルウェブの情報源からのデータクローリング、テキスト処理、エンティティおよび関係抽出、知識グラフ構築、CTI共有を含む、NLPに基づくサイバーセキュリティ脅威インテリジェンス（CTI）技術について包括的な分析を提供する。NLPは、非構造化テキストデータからの行動可能なインテリジェンスを活用することで、脅威検知の自動化、アナリストの作業効率の向上、予防的防御の実現に不可欠であると示している。

ABSTRACT

In the digital era, threat actors employ sophisticated techniques for which, often, digital traces in the form of textual data are available. Cyber Threat Intelligence~(CTI) is related to all the solutions inherent to data collection, processing, and analysis useful to understand a threat actor's targets and attack behavior. Currently, CTI is assuming an always more crucial role in identifying and mitigating threats and enabling proactive defense strategies. In this context, NLP, an artificial intelligence branch, has emerged as a powerful tool for enhancing threat intelligence capabilities. This survey paper provides a comprehensive overview of NLP-based techniques applied in the context of threat intelligence. It begins by describing the foundational definitions and principles of CTI as a major tool for safeguarding digital assets. It then undertakes a thorough examination of NLP-based techniques for CTI data crawling from Web sources, CTI data analysis, Relation Extraction from cybersecurity data, CTI sharing and collaboration, and security threats of CTI. Finally, the challenges and limitations of NLP in threat intelligence are exhaustively examined, including data quality issues and ethical considerations. This survey draws a complete framework and serves as a valuable resource for security professionals and researchers seeking to understand the state-of-the-art NLP-based threat intelligence techniques and their potential impact on cybersecurity.

研究の動機と目的

• 本分野における包括的なサーベイが不足している現状を踏まえ、NLPに基づくサイバーセキュリティ脅威インテリジェンス（CTI）技術について、体系的かつ最新の概要を提供すること。
• データ収集・前処理から分析、共有、標準化までを含むCTIライフサイクル全体を検討し、NLPの応用に焦点を当てる。
• CTI文脈における名前付きエンティティ認識（NER）、関係抽出、テキスト分類、要約などの主要なNLP技術を特定・分析すること。
• データ品質、多言語脳内分析、敵対的攻撃、倫理的懸念といったNLPにおけるCTIの課題を調査すること。
• NLPを用いたCTI分野の研究動向、ツール、未解決の研究課題をマップすることで、研究者および実務家にとっての基盤的リソースを提供すること。

提案手法

• 2010年から2023年までのNLPおよびCTIに焦点を当てた、トップクラスの国際会議、学術誌、ワークショップから選別された192本の査読付き論文を対象とした体系的文献レビュー。
• CTIプロセスの各段階におけるNLP技術の分類：データクローリング（クリアウェブ、ソーシャルメディア、ダークウェブ）、前処理、テキスト表現、NLPモデリング。
• 脅威レポートやフォーラムにおけるテキスト分類、類似性、クラスタリング、トピック検出、要約、多言語分析に向けたNLPモデルの応用。
• 名前付きエンティティ認識（NER）および関係抽出を活用し、非構造化テキストからインジケーター・オブ・コンプロミス（IoCs）および戦術・手法・手順（TTPs）を抽出すること。
• 抽出されたエンティティと関係から知識グラフを構築し、サイバーセキュリティ脅威および脅威行動者を文脈的に表現すること。
• CTI共有プラットフォーム、標準化プロトコル（例：STIX/TAXII）およびプライバシー、データ品質、敵対的攻撃に関する課題の分析。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディア、クリアウェブ、ダークウェブなどの多様な情報源からCTIデータを収集・処理するために、現在どのNLP技術が使用されているか？
• RQ2 NLPモデルは、非構造化テキストデータからインジケーター・オブ・コンプロミス（IoCs）、TTPs、脅威行動者プロファイルといった行動可能なインテリジェンスをどのように抽出しているか？
• RQ3 CTI分野における関係抽出および知識グラフ構築の最先端のアプローチは何か？また、それらは脅威の文脈モデリングをどのように向上させているか？
• RQ4 データ品質、多言語処理、敵対的脅威といったNLPをCTIに応用する際の主な課題は何か？
• RQ5 標準化の取り組みおよび情報共有プラットフォームは、NLP駆動のCTIシステムの効果性およびセキュリティにどのように影響を与えているか？

主な発見

• 本サーベイでは192件の関連研究を同定した。そのうち最多の論文数（26件）がダークウェブおよびディープウェブからのクローリングに注目しており、これらの情報源が脅威インテリジェンスにおいて重要な役割を果たしていることが示された。
• CTI分野で最も研究が進んでいるNLPタスクは名前付きエンティティ認識（NER）であり、26件の論文が脅威レポートやフォーラムからのIoCsおよびTTPs抽出への応用を分析している。
• 関係抽出（23件）および知識グラフ構築（26件）は、脅威行動者、ツール、インfraストラクチャ間の複雑な関係をモデリングするために不可欠な技術である。
• 多言語NLPは依然として未開拓に近く、多言語脅威インテリジェンスに言及した論文はわずか5件にとどまり、とくにダークウェブ上のが非英語コンテンツへの対応が不十分である。
• テキスト分類（21件）およびトピック検出（10件）は、脅威の分類およびトレンド分析に広く用いられており、早期警戒システムの構築を可能としている。
• NLPモデルに対する敵対的攻撃は、脅威として増大しているが、その対策を明確に扱った論文はわずか2件にとどまり、モデルの耐性強化に関する研究ギャップが浮き彫りになった。