[論文レビュー] A Deep Learning Model with Hierarchical LSTMs and Supervised Attention for Anti-Phishing

Le-Minh Nguyen, Toan Nguyen+1 more|arXiv (Cornell University)|May 3, 2018

Spam and Phishing Detection参考文献 22被引用数 21

ひとこと要約

本稿では、語レベルおよび文レベルの表現を活用して分類性能を向上させる、教師付きアテンションを備えた階層的LSTMモデルを提案する。このモデルは、未学習のテストデータにおいてIWSPA-AP 2018共同課題で首位を獲得し、ヘッダーなしでF1スコア0.979、ヘッダーありでF1スコア0.991を達成する。

ABSTRACT

Anti-phishing aims to detect phishing content/documents in a pool of textual data. This is an important problem in cybersecurity that can help to guard users from fraudulent information. Natural language processing (NLP) offers a natural solution for this problem as it is capable of analyzing the textual content to perform intelligent recognition. In this work, we investigate state-of-the-art techniques for text categorization in NLP to address the problem of anti-phishing for emails (i.e, predicting if an email is phishing or not). These techniques are based on deep learning models that have attracted much attention from the community recently. In particular, we present a framework with hierarchical long short-term memory networks (H-LSTMs) and attention mechanisms to model the emails simultaneously at the word and the sentence level. Our expectation is to produce an effective model for anti-phishing and demonstrate the effectiveness of deep learning for problems in cybersecurity.

研究の動機と目的

• 手動による特徴工学に依存する伝統的なフィッシング検出手法の限界を解消すること。
• 生のメールテキストから効果的な表現を自動で学習可能なエンドツーエンドの深層学習モデルを開発すること。
• 語と文のレベルでメール構造を階層的にモデル化することで、フィッシング検出を向上させること。
• 語の頻度順位に基づく新しい教師付きアテンション機構を導入し、モデルの解釈可能性と性能を向上させること。
• IWSPA-AP 2018共同課題の現実世界の非バランスなフィッシングメールデータセット上でモデルを評価すること。

提案手法

• 語レベルのLSTMが文内の個々の語を処理し、文レベルのLSTMが文表現を集約してメール全体の表現を生成する階層的LSTMアーキテクチャを採用する。
• アテンション機構を語レベルおよび文レベルに適用し、メール内の異なる語や文の重要性を動的に重み付けする。
• 語の頻度順位の逆数を用いて語レベルのアテンションをガイドする、新しい教師付きアテンション技術を導入し、まれな、おそらく不審な用語を優先する。
• ヘッダー特徴をモデル化するための別個のヘッダーネットワークを導入し、利用可能な場合に検出精度を向上させる。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、時間軸に沿った誤差逆伝播により最適化する。
• ヘッダーを含むデータの場合、フルヘッダー集合からの訓練データと同一集合の本文を抽出したデータを組み合わせ、より大規模で強固な訓練分布を構築する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えた階層的ディープラーニングモデルは、従来の機械学習手法を上回る性能を発揮できるか？
• RQ2 専用のヘッダーネットワークを用いてメールヘッダーを分類パイプラインに統合することは、どの程度効果的か？
• RQ3 語の頻度順位に基づく教師付きアテンションは、モデルの性能と解釈可能性をどの程度向上させるか？
• RQ4 語と文のレベルでメールを階層的にモデル化することで、平坦なモデルと比較してより優れた表現学習が達成できるか？
• RQ5 バランスの取れた公的ベンチマークとは対照的に、非バランスな現実世界のフィッシングメールデータセットに対して、モデルはどの程度一般化できるか？

主な発見

• 提案された教師付きアテンションを備えたH-LSTMは、最初の共同課題（ヘッダーなし）でF1スコア0.979を達成し、参加システムの中で首位となった。
• 2番目の共同課題（ヘッダーあり）では、F1スコア0.991を達成し、全体で2位となった。これは現実世界のデータに対して優れた性能を示している。
• ヘッダーネットワークの導入により、交差検証でF1スコアが0.9631から0.9705に向上し、性能が0.7%相対的に向上した。
• データ・ノーヘッダーおよびデータ・フルヘッダー両方のセットからのデータを統合して学習したモデルは、分離したデータで学習したモデルを上回り、一般化性能が向上した。
• 語の頻度順位に基づく教師付きアテンション機構により、まれでおそらく悪意ある用語への注目が著しく強化され、検出性能の向上に寄与した。
• フルモデル（H-LSTM + ヘッダー + 教師付きアテンション）の学習時間は1.5時間、テストデータでの推論時間はわずか1分であり、実用的なデプロイが可能であることが示された。