[論文レビュー] Improving Phishing Detection Via Psychological Trait Scoring

Sadat Shahriar, Arjun Mukherjee+1 more|arXiv (Cornell University)|Aug 14, 2022

Spam and Phishing Detection被引用数 4

ひとこと要約

本稿では、深層学習モデルに心理的特徴スコア（特に緊急感、恐怖、欲求）を統合することで、フィッシング椾取検出の向上を提案する。BERTとSBERTを微調整し、最終層からフィッシング心理的特徴（PPT）スコアを抽出し、ニューラルネットワークと組み合わせることで、最先端手法（SOTA）比でF1スコアを4.54%向上させた。その中で、恐怖が最も強力な検出サインであることが明らかになった。

ABSTRACT

Phishing emails exhibit some unique psychological traits which are not present in legitimate emails. From empirical analysis and previous research, we find three psychological traits most dominant in Phishing emails - A Sense of Urgency, Inducing Fear by Threatening, and Enticement with Desire. We manually label 10% of all phishing emails in our training dataset for these three traits. We leverage that knowledge by training BERT, Sentence-BERT (SBERT), and Character-level-CNN models and capturing the nuances via the last layers that form the Phishing Psychological Trait (PPT) scores. For the phishing email detection task, we use the pretrained BERT and SBERT model, and concatenate the PPT scores to feed into a fully-connected neural network model. Our results show that the addition of PPT scores improves the model performance significantly, thus indicating the effectiveness of PPT scores in capturing the psychological nuances. Furthermore, to mitigate the effect of the imbalanced training dataset, we use the GPT-2 model to generate phishing emails (Radford et al., 2019). Our best model outperforms the current State-of-the-Art (SOTA) model's F1 score by 4.54%. Additionally, our analysis of individual PPTs suggests that Fear provides the strongest cue in detecting phishing emails.

研究の動機と目的

• 従来のNLP手法がしばしば見逃す心理的操作を利用したフィッシングメールを検出する課題に対処すること。
• フィッシングメールに見られる優位な心理的特徴（緊急感、恐怖、欲求）を特定・定量化し、検出精度を向上させること。
• GPT-2を用いて合成フィッシングメールを生成することで、フィッシングデータセットにおけるクラス不均衡を克服すること。
• 文脈的埋め込みと心理的特徴スコアを融合するハイブリッド深層学習モデルを構築し、優れた性能を達成すること。
• 心理的手がかり、特に恐怖が、フィッシングメールと正当なメールを区別する強力な指標であることを実証すること。

提案手法

• フィッシングメールの10%を手動で、緊急感、恐怖、欲求の3つの心理的特徴に対してラベル付けする。
• BERTおよびSentence-BERTモデルを微調整し、最終層から文脈的表現を抽出し、フィッシング心理的特徴（PPT）スコアを生成する。
• 文字レベルのCNNモデルを訓練し、心理的特徴に関連する低レベルの言語的パターンを学習する。
• PPTスコアをBERT/SBERTからの文脈的埋め込みと連結し、最終分類のための全結合ニューラルネットワークに入力する。
• GPT-2を用いて合成フィッシングメールを生成し、訓練データを拡張し、クラス不均衡の影響を軽減する。
• 標準的な指標（F1スコアなど）を用いて、ベンチマークフィッシング検出データセット上で最終モデルの訓練と評価を行う。

実験結果

リサーチクエスチョン

• RQ1 緊急感、恐怖、欲求といった心理的特徴は、標準的なNLP特徴を超えて、どの程度フィッシング検出を向上させるか？
• RQ2 BERTおよびSBERTモデルから抽出されたPPTスコアは、フィッシングメールと正当なメールを区別するためにどのように寄与するか？
• RQ3 GPT-2を用いた合成フィッシングメール生成は、不均衡なデータセットにおけるモデルの一般化性能を効果的に向上させるか？
• RQ4 緊急感、恐怖、欲求のうち、どの心理的特徴がフィッシング検出において最も強い信号を提供するか？
• RQ5 心理的特徴スコアの統合は、既存の最先端手法を著しく上回るか？

主な発見

• BERTおよびSBERTモデルにフィッシング心理的特徴（PPT）スコアを統合することで、現在の最先端手法（SOTA）比でF1スコアが4.54%向上した。
• 恐怖関連の心理的特徴が、緊急感や欲求を上回り、フィッシング検出において最も強力な判別信号を提供した。
• GPT-2を用いた合成フィッシングメール生成により、訓練中のデータクラス不均衡の影響が効果的に軽減された。
• PPTスコア抽出メカニズムは、標準的なNLP埋め込みでは十分に表現されない微細な心理的手がかりを効果的に捉えた。
• 文脈的埋め込みとPPTスコアを組み合わせた最終モデルは、未学習のフィッシングサンプルに対しても頑健な一般化性能と向上した検出性能を示した。
• アブレーションスタディにより、各心理的特徴が独自に寄与しており、特に恐怖が最も予測能の高い個別特徴であることが確認された。