[논문 리뷰] Targeted Phishing Campaigns using Large Scale Language Models

Rabimba Karanjai|arXiv (Cornell University)|2022. 12. 30.

Spam and Phishing Detection인용 수 20

한 줄 요약

해석: 이 논문은 대형 언어 모델의 피싱 이메일 생성 가능성과 효과를 평가하고 평가 프레임워크를 제안하며, 여러 모델을 기본 방법과 비교한다. 특정 LLM들이 설득력 있는 피싱 텍스트를 생성하고 일부 방어를 우회할 수 있음을 발견하였으나, 모델 및 데이터 의존적 한계가 있음을 지적한다.

ABSTRACT

In this research, we aim to explore the potential of natural language models (NLMs) such as GPT-3 and GPT-2 to generate effective phishing emails. Phishing emails are fraudulent messages that aim to trick individuals into revealing sensitive information or taking actions that benefit the attackers. We propose a framework for evaluating the performance of NLMs in generating these types of emails based on various criteria, including the quality of the generated text, the ability to bypass spam filters, and the success rate of tricking individuals. Our evaluations show that NLMs are capable of generating phishing emails that are difficult to detect and that have a high success rate in tricking individuals, but their effectiveness varies based on the specific NLM and training data used. Our research indicates that NLMs could have a significant impact on the prevalence of phishing attacks and emphasizes the need for further study on the ethical and security implications of using NLMs for malicious purposes.

연구 동기 및 목표

• 대형 언어 모델을 이용해 피싱 이메일을 생성하는 가능성을 평가한다.
• 텍스트 품질, 스팸 필터 회피, 공격자 성공 지표를 포함한 평가 프레임워크를 개발한다.
• 여러 LLM(GPT-2, GPT-3, OPT 등)을 피싱 데이터셋에서 기본 모델과 비교한다.
• 훈련 데이터와 모델 선택이 피싱 이메일의 현실감과 탐지 가능성에 미치는 영향을 분석한다.
• 악의적 이메일 생성을 위한 NLM 사용의 윤리적 및 보안적 함의를 논의한다.

제안 방법

• 생성된 피싱 이메일의 텍스트 품질, 필터 회피, 공격 성공 여부를 평가하는 프레임워크를 구성한다.
• 합성된 합법적 이메일과 악의적 이메일의 혼합 데이터세트에서 다양한 LLM을 학습·평가한다.
• 개인 정보를 제거하고 콘텐츠를 표준화하기 위해 데이터를 전처리한다.
• 이메일 생성을 위한 프롬프트를 사용하고 토큰 확률, 순위, 맥락 엔트로피를 분석한다.
• 출력을 기본 모델 및 실제 피싱 샘플과 비교한다.
• 선정된 모델의 훈련 매개변수를 문서화하고 질적 예시를 보고한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 기존 방어 체계에서 탐지하기 어려운 피싱 이메일을 생성할 수 있는가?
• RQ2 모델 선택(GPT-2, GPT-3, OPT 등)과 훈련 데이터가 피싱 이메일의 현실감과 성공률에 어떤 영향을 미치는가?
• RQ3 피싱 연구 및 탐지에 NLM을 사용하는 데 있어 한계와 윤리적 고려사항은 무엇인가?
• RQ4 생성된 이메일이 생산급 이메일 보호 메커니즘을 어느 정도까지 우회할 수 있는가?
• RQ5 NLM 생성 피싱 콘텐츠의 위험을 완화하기 위한 전략은 무엇인가?

주요 결과

• LLMs는 탐지하기 어려운 피싱 이메일을 생성할 수 있으며 적절히 프롬프트될 때 겉보기 신뢰성을 높일 수 있다.
• 성능은 특정 모델과 사용된 훈련 데이터에 의존하므로 아키텍처와 데이터 세트 간 차이가 있다.
• GPT-3 및 관련 대형 모델은 안전장치가 설치된 상황에서도 설득력 있는 타깃 이메일을 생성할 수 있는 현저한 가능성을 보인다.
• 모델 선택과 데이터 품질에 따라 효과에 뚜렷한 한계가 있어 위협 환경이 미묘하게 다층적임을 시사한다.
• 이 연구는 윤리적·보안상의 문제를 강조하고 탐지 및 방어 프레임워크의 개선 필요성을 제시한다.