[논문 리뷰] Improving Phishing Detection Via Psychological Trait Scoring

Sadat Shahriar, Arjun Mukherjee외 1명|arXiv (Cornell University)|2022. 08. 14.

Spam and Phishing Detection인용 수 4

한 줄 요약

이 논문은 딥러닝 모델에 심리적 특성 점수—특히 급박감, 두려움, 욕망—를 통합하여 피싱 탐지 성능을 향상시키는 방법을 제안한다. BERT와 SBERT를 미세조정하여 피싱 심리적 특성(PPT) 점수를 추출하고, 이를 신경망과 융합함으로써 기존 최고 성능(SOTA) 대비 F1 점수를 4.54% 향상시켰으며, 특히 두려움이 가장 강력한 탐지 신호로 드러났다.

ABSTRACT

Phishing emails exhibit some unique psychological traits which are not present in legitimate emails. From empirical analysis and previous research, we find three psychological traits most dominant in Phishing emails - A Sense of Urgency, Inducing Fear by Threatening, and Enticement with Desire. We manually label 10% of all phishing emails in our training dataset for these three traits. We leverage that knowledge by training BERT, Sentence-BERT (SBERT), and Character-level-CNN models and capturing the nuances via the last layers that form the Phishing Psychological Trait (PPT) scores. For the phishing email detection task, we use the pretrained BERT and SBERT model, and concatenate the PPT scores to feed into a fully-connected neural network model. Our results show that the addition of PPT scores improves the model performance significantly, thus indicating the effectiveness of PPT scores in capturing the psychological nuances. Furthermore, to mitigate the effect of the imbalanced training dataset, we use the GPT-2 model to generate phishing emails (Radford et al., 2019). Our best model outperforms the current State-of-the-Art (SOTA) model's F1 score by 4.54%. Additionally, our analysis of individual PPTs suggests that Fear provides the strongest cue in detecting phishing emails.

연구 동기 및 목표

• 기존 NLP 방법으로는 종종 간과되는 정서적 유도를 이용한 피싱 이메일 탐지 과제를 해결한다.
• 피싱 이메일 내에서 지배적인 심리적 특성—급박감, 두려움, 욕망—을 식별하고 정량화하여 탐지 정확도를 향상시킨다.
• GPT-2를 사용해 합성 피싱 이메일을 생성함으로써 피싱 데이터셋의 클래스 불균형 문제를 해결한다.
• 맥락적 임bedding과 심리적 특성 점수를 융합하는 하이브리드 딥러닝 모델을 개발하여 우수한 성능을 달성한다.
• 심리적 신호, 특히 두려움이 피싱 이메일과 정상 이메일을 구분하는 데 강력한 지표가 됨을 입증한다.

제안 방법

• 피싱 이메일의 10%를 수작업으로 급박감, 두려움, 욕망의 세 가지 심리적 특성에 대해 레이블링한다.
• BERT와 문장-BERT 모델을 미세조정하여 최종 레이어에서 피싱 심리적 특성(PPT) 점수를 생성하는 맥락적 표현을 추출한다.
• 문자 수준의 CNN 모델을 훈련시켜 심리적 특성과 관련된 저수준 언어 패턴을 학습한다.
• PPT 점수를 BERT/SBERT의 맥락적 임베딩과 연결하여 완전 연결 신경망에 입력하고 최종 분류를 수행한다.
• GPT-2를 사용해 합성 피싱 이메일을 생성하여 훈련 데이터를 증강하고 클래스 불균형 문제를 완화한다.
• 기본 피싱 탐지 데이터셋에서 표준 지표(예: F1 점수)를 사용해 최종 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 급박감, 두려움, 욕망과 같은 심리적 특성이 표준 NLP 기능을 초월해 피싱 탐지 성능을 얼마나 향상시키는가?
• RQ2 BERT와 SBERT 모델에서 유도된 PPT 점수는 피싱 이메일과 정상 이메일을 어떻게 구분하는 데 기여하는가?
• RQ3 GPT-2를 통한 합성 피싱 이메일 생성이 불균형 데이터셋에서 모델 일반화 능력을 효과적으로 향상시키는가?
• RQ4 급박감, 두려움, 욕망 중 어떤 심리적 특성이 피싱 탐지에 가장 강력한 신호를 제공하는가?
• RQ5 심리적 특성 점수 통합이 기존 최고 성능 모델보다 유의미하게 뛰어나게 성능을 향상시키는가?

주요 결과

• BERT와 SBERT 모델에 피싱 심리적 특성(PPT) 점수를 통합함으로써 현재 최고 성능(SOTA) 모델 대비 F1 점수를 4.54% 향상시켰다.
• 두려움과 관련된 심리적 특성이 급박감과 욕망을 초월해 피싱 탐지에 가장 강력한 분류 신호를 제공한다.
• GPT-2를 활용한 합성 피싱 이메일 생성이 훈련 중 데이터 클래스 불균형의 영향을 효과적으로 완화시켰다.
• PPT 점수 추출 기법은 표준 NLP 임베딩에서 완전히 반영되지 않는 미묘한 심리적 신호를 성공적으로 포착했다.
• 맥락적 임베딩과 PPT 점수를 융합한 최종 모델은 미리보지 않은 피싱 샘플에 대해 강력한 일반화 능력과 향상된 탐지 성능을 보였다.
• 제거 실험 결과 각 심리적 특성이 독립적으로 기여하며, 특히 두려움이 가장 예측력 있는 개별 특성임을 확인했다.