[論文レビュー] Breaking Bad: Detecting malicious domains using word segmentation

Wei Wang, Kenneth E. Shirley|arXiv (Cornell University)|Jun 12, 2015

Spam and Phishing Detection参考文献 12被引用数 24

ひとこと要約

本論文では、ドメイン名に語彙分割を適用することで、従来の語彙的特徴のみに依存する手法よりも顕著に検出精度を向上させる軽量で解釈可能な手法を提案する。ドメイン文字列内の意味的な部分語（例：'free' や 'login'）を特定することで、AUC性能が向上し、複雑な特徴工学や外部データソースを必要とせずに、ほぼリアルタイムでの分析が可能になる。

ABSTRACT

In recent years, vulnerable hosts and maliciously registered domains have been frequently involved in mobile attacks. In this paper, we explore the feasibility of detecting malicious domains visited on a cellular network based solely on lexical characteristics of the domain names. In addition to using traditional quantitative features of domain names, we also use a word segmentation algorithm to segment the domain names into individual words to greatly expand the size of the feature set. Experiments on a sample of real-world data from a large cellular network show that using word segmentation improves our ability to detect malicious domains relative to approaches without segmentation, as measured by misclassification rates and areas under the ROC curve. Furthermore, the results are interpretable, allowing one to discover (with little supervision or tuning required) which words are used most often to attract users to malicious domains. Such a lightweight approach could be performed in near-real time when a device attempts to visit a domain. This approach can complement (rather than substitute) other more expensive and time-consuming approaches to similar problems that use richer feature sets.

研究の動機と目的

• モバイル攻撃に使われる悪意あるドメインの増加する脅威に対処すること。
• ドメイン名の語彙的特徴のみを用いて悪意あるドメインの検出を改善すること。
• 語彙分割が悪意あるドメイン検出の特徴表現をどのように向上させるかを調査すること。
• 既存のよりリソースを要する手法と補完的である、軽量でほぼリアルタイムの検出手法を開発すること。
• 悪意あるドメインに頻出する語の識別を解釈可能に可能にすること。

提案手法

• ドメイン名を意味的な部分語（例：'freeshipping.com' の 'free'）に分割する語彙分割アルゴリズムを適用する。
• 分割された語を追加の語彙的特徴として特徴セットに拡張する。
• 長さ、エントロピー、文字分布などの従来の定量的特徴と組み合わせる。
• 拡張された特徴セット上で機械学習分類器（例：SVM やランダムフォレスト）を学習させ、悪意あるドメインと良性ドメインを区別する。
• モデルを用いて、悪意ある意図を予測するのに最も寄与する分割語を同定する。
• 実世界の携帯通信ネットワークデータを用いて、性能と解釈可能性を評価するための妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 語彙分割をドメイン名に適用することで、従来の語彙的特徴のみに依存する手法と比較して、悪意あるドメインの検出が向上するか？
• RQ2 分割語の組み込みが、悪意あるドメイン検出モデルの誤分類率とAUCに与える影響は？
• RQ3 モデルが悪意あるドメインに使われる言語的パターンをどの程度特定・解釈できるか？
• RQ4 このアプローチは、最小限の計算オーバーヘッドでほぼリアルタイムにデプロイ可能か？
• RQ5 実際のネットワーク環境において、この分割手法の性能は、非分割ベースラインと比較してどうなるか？

主な発見

• 語彙分割の組み込みにより検出性能が顕著に向上し、分割を行わないモデルと比較して誤分類率が低下した。
• 長さ、エントロピー、文字分布などの定量的ドメイン特徴のみを用いたベースライン手法と比較して、AUCがより高い結果を達成した。
• モデルは悪意あるドメインに頻出する高頻度語（例：'free'、'login'、'account'）を効果的に同定し、解釈可能性を示した。
• このアプローチにより、ほぼリアルタイムでの分析が可能となり、ライブネットワーク環境へのデプロイに適している。
• 最小限の監視やハイパーパramータチューニングで済むため、運用上の実用性が向上した。
• より洗練された、計算コストの高い特徴に依存する複雑な検出システムと比較して、補完的であることが明らかになった。