[論文レビュー] DeepHTTP: Semantics-Structure Model with Attention for Anomalous HTTP Traffic Detection and Pattern Mining

Yuqi Yu, Hanbing Yan+2 more|arXiv (Cornell University)|Oct 30, 2018

Network Security and Intrusion Detection参考文献 42被引用数 9

ひとこと要約

DeepHTTPは、注意メカニズムを備えた双方向LSTMを用いて、意味的構造を統合した深層学習モデルを提案する。このモデルは、HTTPリクエストを自然言語のシーケンスとして扱い、コンテンツの意味的特徴と構造的特徴を統合することで、異常なHTTPトラフィックの検出と悪意あるパターンの抽出を実現する。高い検出精度と効果的なパターン発見が達成され、注意メカニズムにより『wscript』や『shell』といった攻撃の兆候となるキーワードが強調される。

ABSTRACT

In the Internet age, cyber-attacks occur frequently with complex types. Traffic generated by access activities can record website status and user request information, which brings a great opportunity for network attack detection. Among diverse network protocols, Hypertext Transfer Protocol (HTTP) is widely used in government, organizations and enterprises. In this work, we propose DeepHTTP, a semantics structure integration model utilizing Bidirectional Long Short-Term Memory (Bi-LSTM) with attention mechanism to model HTTP traffic as a natural language sequence. In addition to extracting traffic content information, we integrate structural information to enhance the generalization capabilities of the model. Moreover, the application of attention mechanism can assist in discovering critical parts of anomalous traffic and further mining attack patterns. Additionally, we demonstrate how to incrementally update the data set and retrain model so that it can be adapted to new anomalous traffic. Extensive experimental evaluations over large traffic data have illustrated that DeepHTTP has outstanding performance in traffic detection and pattern discovery.

研究の動機と目的

• HTTPトラフィックにおける複雑で進化するサイバー攻撃に対応するための従来の異常検出手法の限界を克服すること。
• HTTPリクエストの意味的特徴と構造的特徴を統合することで、モデルの汎化性能とロバスト性を向上させること。
• 事前の知識がなくても、悪意あるトラフィックの自動検出と攻撃パターンの発見を可能にすること。
• 時間の経過とともに現れる新たな攻撃バージョンに適応できるインクリメンタル学習をサポートすること。
• 注意メカニズムによる可視化を通じて、悪意あるトラフィックにおける重要なキーワードを解釈可能に示すこと。

提案手法

• HTTPリクエストのコンテンツを自然言語のシーケンスとして扱い、トークンを埋め込み表現にマッピングして意味的モデリングを行う。
• HTTPエントリを分割することで構造的特徴を抽出し、コンテンツの断片を構造化された表現に変換する。
• 意味的特徴と構造的特徴を別々に学習する2つのBi-LSTMネットワークを用い、出力を連結する。
• 入力シーケンス内の重要な語に注目するための注意メカニズムを適用し、解釈可能性を得るために注意重みを生成する。
• 意味的特徴ベクトルと構造的特徴ベクトルを組み合わせ、全結合層を用いて最終的な分類を行う。
• 検出された悪意あるトラフィックに対してクラスタリングを実行し、注意重み付きキーワードを用いてパターンマイニングを適用して繰り返し発生する攻撃シグネチャを同定する。

実験結果

リサーチクエスチョン

• RQ1 HTTPトラフィックの意味的特徴と構造的特徴を統合した深層学習モデルが、異常検出性能を向上させることができるか？
• RQ2 注意メカニズムは、悪意あるHTTPトラフィックの重要な兆候をどの程度効果的に強調できるか？
• RQ3 このモデルは、SQLインジェクション、XSS、Webシェルなどの既知の攻撃ファミリーからパターンを検出・抽出できるか？
• RQ4 インクリメンタル学習とデータセットの更新を通じて、モデルが新たな悪意あるトラフィックにどの程度適応できるか？
• RQ5 注意メカニズムは、悪意あるトラフィックの特徴に関する解釈可能なインサイトを提供できるか？

主な発見

• Structs2脆弱性に対して、上位5つの注意重み付き語ではリコールレートが0.822に達し、上位20語では0.964に上昇した。
• SQLインジェクションパターンの検出において、『select』のリコールが0.871、『limit』のリコールが0.799（上位20語内）を示した。
• XSS攻撃に対して、『script』と『iframe』が高重要度のキーワードとして正しく同定され、上位10語内でのリコールはそれぞれ0.820および0.721を達成した。
• 注意メカニズムにより、『wscript』、『execute』、『action』といった重要な攻撃用語が効果的に強調され、正解の指標と密接に一致した。
• パターンマイニングの可視化により、{ '¡', '/', 'textarea', 'script', '¿', 'alert' } のような共起クラスタが特定され、スクリプトベースの攻撃が検出された。
• 『etc』と『passwd』の上位20語内でのリコールが0.948を上回り、ファイルインクルージョンやWebシェルのパターンを含む多様な攻撃タイプに対しても高い性能を維持した。