[論文レビュー] Deep Learning Algorithm for Threat Detection in Hackers Forum (Deep Web)

Victor Adewopo, Bilal Gonen+3 more|arXiv (Cornell University)|Feb 3, 2022

Network Security and Intrusion Detection被引用数 11

ひとこと要約

本論文では、匿名化されたTORベースの議論からテキストコンテンツを分析することで、ディープウェブのハッキングフォーラムにおけるサイバー脅威を検出するための長短期記憶（LSTM）ディープラーニングモデルを提案する。このモデルは、侵害の兆候や脆弱性の暴露を特定する際、94％の正確性と90％の正確性を達成し、SVM やランダムフォレストといった既存の手法を上回る性能を発揮した。

ABSTRACT

In our current society, the inter-connectivity of devices provides easy access for netizens to utilize cyberspace technology for illegal activities. The deep web platform is a consummative ecosystem shielded by boundaries of trust, information sharing, trade-off, and review systems. Domain knowledge is shared among experts in hacker's forums which contain indicators of compromise that can be explored for cyberthreat intelligence. Developing tools that can be deployed for threat detection is integral in securing digital communication in cyberspace. In this paper, we addressed the use of TOR relay nodes for anonymizing communications in deep web forums. We propose a novel approach for detecting cyberthreats using a deep learning algorithm Long Short-Term Memory (LSTM). The developed model outperformed the experimental results of other researchers in this problem domain with an accuracy of 94\% and precision of 90\%. Our model can be easily deployed by organizations in securing digital communications and detection of vulnerability exposure before cyberattack.

研究の動機と目的

• ディープウェブのハッキングフォーラムに存在する違法な議論や侵害の兆候といった、増加するサイバー脅威の原因に対処するため。
• 攻撃が発生する前に、新規のサイバー脅威や脆弱性の暴露を自動で検出できる、実装可能なシステムを構築するため。
• 自然言語ベースの脅威検出における性能向上を図るために、LSTMを用いたシーケンスモデリングを活用する既存の機械学習モデルを改善するため。
• 法執行警察やサイバーセキュリティチームが、匿名化されたディープウェブコミュニティからのインテリジェンスを活用して、能動的にサイバー脅威を特定・対応できるようにするため。
• 今後の研究の基盤を築くため、安全なディープウェブデータクローリングおよび地理的特徴を持つ脅威プロファイリングに関する基盤を確立するため。

提案手法

• フォーラム投稿からマルウェア名、攻撃ベクトル、システム脆弱性といった、サイバー脅威関連のエンティティを抽出するために名前付きエンティティ認識（NER）を活用した。
• 生テキストをディープラーニング入力に適した固定長の数値行列に変換するために、トークン化とシーケンスパディングを実施した。
• フォーラム議論における順序的依存関係をモデル化し、脅威分類に適した長短期記憶（LSTM）ニューラルネットワークアーキテクチャを設計した。
• 入力シーケンスを250語までに制限し、匿名化されたディープウェブフォーラムテキストのデータセットを12エポックにわたり訓練した。
• モデルの安定性を維持するため、ワードエンベッディングとシーケンスパディングを含む標準的なNLP前処理を適用した。
• 訓練および検証データセットの両方で、正確性、適合率、再現率、F1スコアといった標準的な指標を用いて、モデルのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、ディープウェブのハッキングフォーラムからの非構造的テキストにおいて、サイバー脅威を効果的に検出できるか？
• RQ2 SVM やランダムフォレストといった従来の機械学習モデルと比較して、LSTMベースのアプローチは、サイバー脅威コンテンツの分類においてどのように異なるか？
• RQ3 NER とシーケンスモデリングは、フォーラム議論における侵害の兆候の特定をどの程度向上できるか？
• RQ4 モデルは、動的で変化し続けるディープウェブコンテンツから、既知の脅威と新規の脅威の両方を一般化して検出できるか？
• RQ5 このようなモデルは、現実のサイバーセキュリティ運用における能動的脅威インテリジェンスのための展開に、どの程度の可能性を秘めているか？

主な発見

• 提案されたLSTMモデルは、ディープウェブフォーラムテキストからのサイバー脅威検出において、94％の正確性、90％の適合率、91％の再現率を達成し、ベースラインモデルを顕著に上回った。
• DongらのSVMモデル（81％の正確性）と比較して、LSTMモデルは全体の正確性で13パーセンテージポイントの向上を示した。
• システムエクスプロイトの分類において97％の正確性を示したAzeneらのランダムフォレスト分類器よりも、全体の脅威検出において優れたバランスを示した。
• 90％の適合率を達成したことで、誤検出が少なく、真の脅威を信頼性高く特定できることを示した。
• LSTMを用いたシーケンスモデリングが、ディープウェブフォーラムにおける長文で文脈豊かなサイバー脅威議論の分析に非常に効果的であることが確認された。
• 本研究は、匿名化されたディープウェブデータを用いたディープラーニングの実用可能性を示し、能動的なサイバー脅威インテリジェンス収集の可能性を裏付けた。