[논문 리뷰] Generating Phishing Attacks using ChatGPT

Sayak Saha Roy, Krishna Vamsi Naragam외 1명|arXiv (Cornell University)|2023. 05. 09.

Spam and Phishing Detection인용 수 21

한 줄 요약

이 논문은 프롬프트를 엔지니어링하여 ChatGPT가 기능적인 피싱 웹사이트 소스 코드를 생성하도록 하는 방법을 제시하며, 정규 및 회피 변형을 포함하고 50개 브랜드를 가장하고, 호스팅, 반복 노력, 그리고 윤리적 고려사항에 대해 논의한다.

ABSTRACT

The ability of ChatGPT to generate human-like responses and understand context has made it a popular tool for conversational agents, content creation, data analysis, and research and innovation. However, its effectiveness and ease of accessibility makes it a prime target for generating malicious content, such as phishing attacks, that can put users at risk. In this work, we identify several malicious prompts that can be provided to ChatGPT to generate functional phishing websites. Through an iterative approach, we find that these phishing websites can be made to imitate popular brands and emulate several evasive tactics that have been known to avoid detection by anti-phishing entities. These attacks can be generated using vanilla ChatGPT without the need of any prior adversarial exploits (jailbreaking).

연구 동기 및 목표

• ChatGPT 프롬프트가 기능적인 피싱 웹사이트를 생성할 수 있는지 평가합니다.
• 안티 피싱 방어를 회피하는 일반적이고 회피적인 피싱 공격 변형을 식별합니다.
• 이러한 피싱 공격을 배포하는 데 필요한 실용성과 자원을 평가합니다.
• 윤리적 고려사항 및 LLM 기반 피싱 위험에 대한 잠재적 방어 시사점을 논의합니다.

제안 방법

• 설계, 자격 증명 취득, 악용, 자격 증명 전달 객체의 네 가지 기능 구성요소로 프롬프트를 분해합니다.
• 프롬프트를 반복적으로 테스트하여 일반적인 프롬프트와 8개의 회피 피싱 공격 변형을 만들어 유명 브랜드를 가장합니다.
• 피싱 사이트의 HTML, CSS, JS 및 PHP 코드를 생성하기 위해 ChatGPT API(gpt-3.5-turbo)를 사용합니다.
• 생성된 스크립트를 무료 호스팅 플랫폼에 호스팅하여 실용성과 배포 고려사항을 평가합니다.

Figure 1 : Breaking down the prompt into functional objects to trick ChatGPT into generating the attack

실험 결과

연구 질문

• RQ1 프롬프트에서 jailbreaking 없이도 ChatGPT가 기능적인 피싱 웹사이트를 생성할 수 있습니까?
• RQ2 ChatGPT가 안티 피싱 탐지를 우회하기 위해 생성할 수 있는 회피 기법의 범위는 무엇입니까?
• RQ3 이 피싱 공격을 재현하기 위해 서로 다른 코더가 필요한 반복 횟수와 노력이 어느 정도입니까?
• RQ4 이러한 생성된 피싱 사이트의 실용적 호스팅 고려사항 및 배포 시사점은 무엇입니까?

주요 결과

• ChatGPT는 50개 브랜드를 겨냥한 일반적 및 회피적 피싱 공격 코드를 생성할 수 있습니다.
• 다양한 회피 공격에는 CAPTCHA 기반, QR 코드, 브라우저-인-브라우저, iFrame/클릭재킹, DOM 특징 회피, 다형성 URL, 텍스트 인코딩 및 브라우저 지문 인식이 포함됩니다.
• 평균적으로 보안 전문가의 수준이 다른 세 명의 코더가 공격 유형별 필요한 반복 횟수를 달리 필요로 하였으며, 각 공격 유형에 필요한 노력을 요약한 표가 제시됩니다.
• 피싱 사이트는 무료 플랫폼에 호스팅되어 배포 가능성을 평가하였으며, 공격자에게 비용 효율성과 신속한 배포 가능성을 강조합니다.
• 본 연구는 외부 이미지가 학습 커트오프 때문에 오래될 수 있으며, 후속 프롬프트나 실시간 도구를 통해 자원을 갱신할 수 있음을 지적합니다.

(a)