[논문 리뷰] Towards Web Phishing Detection Limitations and Mitigation

Alsharif Abuadbba, Shuo Wang외 5명|arXiv (Cornell University)|2022. 04. 03.

Spam and Phishing Detection인용 수 8

한 줄 요약

이 논문은 WHOIS, Google 색인, 페이지 분석과 같은 신뢰할 수 있는 소스로부터의 신뢰도 신호와 렲행된 웹페이지 행동을 상관관계화하는 수평적 특징 공간을 통합함으로써 기존 기계학습 기반 접근 방식을 향상시킨 로지스틱 회귀 기반 피싱 탐지 모델인 Anti-SubtlePhish을 제안한다. 이 모델은 보고된 피싱 페이지에서 96.1%의 정확도를 달성하고, 탐지되지 않은 페이지에서는 98.8%의 정확도를 기록하며, 0일차 공격에서는 100%의 정확도를 보이며 기존 벤더들을 능가한다.

ABSTRACT

Web phishing remains a serious cyber threat responsible for most data breaches. Machine Learning (ML)-based anti-phishing detectors are seen as an effective countermeasure, and are increasingly adopted by web-browsers and software products. However, with an average of 10K phishing links reported per hour to platforms such as PhishTank and VirusTotal (VT), the deficiencies of such ML-based solutions are laid bare. We first explore how phishing sites bypass ML-based detection with a deep dive into 13K phishing pages targeting major brands such as Facebook. Results show successful evasion is caused by: (1) use of benign services to obscure phishing URLs; (2) high similarity between the HTML structures of phishing and benign pages; (3) hiding the ultimate phishing content within Javascript and running such scripts only on the client; (4) looking beyond typical credentials and credit cards for new content such as IDs and documents; (5) hiding phishing content until after human interaction. We attribute the root cause to the dependency of ML-based models on the vertical feature space (webpage content). These solutions rely only on what phishers present within the page itself. Thus, we propose Anti-SubtlePhish, a more resilient model based on logistic regression. The key augmentation is the inclusion of a horizontal feature space, which examines correlation variables between the final render of suspicious pages against what trusted services have recorded (e.g., PageRank). To defeat (1) and (2), we correlate information between WHOIS, PageRank, and page analytics. To combat (3), (4) and (5), we correlate features after rendering the page. Experiments with 100K phishing/benign sites show promising accuracy (98.8%). We also obtained 100% accuracy against 0-day phishing pages that were manually crafted, comparing well to the 0% recorded by VT vendors over the first four days.

연구 동기 및 목표

• 기계학습 기반 피싱 탐지기가 널리 사용되고 있음에도 불구하고 최근 피싱 공격을 탐지하지 못하는 이유를 조사하기 위해.
• 현대의 피싱 사이트가 전통적인 기반 특징 기반 탐지 시스템을 우회하는 데 사용하는 특정한 회피 기법을 규명하기 위해.
• 탐지 실패의 근본 원인이 수직적 특징 공간(예: URL 및 정적 HTML 콘텐츠)에 과도하게 의존하기 때문이라는 원인을 규명하기 위해.
• 제3자 신뢰 기관과의 수평적 특징 공간 상관관계를 통합하여 더 견고한 탐지 모델을 설계하기 위해.
• 보고된 피싱 페이지와 0일차 피싱 페이지 양쪽에서 모델의 성능을 평가하여 기존 솔루션보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델는 기존 기계학습 기반 탐지 방식을 확장하여 웹페이지의 렲행 행동과 WHOIS, Google 색인 순위, 페이지 분석과 같은 신뢰할 수 있는 소스로부터의 신뢰도 데이터 간의 상관관계를 가지는 수평적 특징 공간을 도입한다.
• WHOIS 등록 연수와 도메인 이력을 사용하여 페이지의 신뢰도를 평가하여 일반적으로 피싱에 사용되는 최근에 등록된 도메인을 탐지한다.
• 렌더링된 DOM 구조를 알려진 양호한 패턴과 비교하여 일관성을 평가하고, 스크립트 실행 및 콘텐츠 로딩에서의 이질성을 탐지한다.
• Selenium을 사용하여 의심스러운 페이지를 레이어링하고 동적 콘텐츠를 추출함으로써 클라이언트 측 콘텐츠 가로채기 및 지연된 페이로드 전달을 탐지할 수 있다.
• 로지스틱 회귀를 적용하여 수직적 특징(예: URL, DOM 구조)과 수평적 특징(신뢰도, 레이어링 행동)을 결합함으로써 오염 방지에 대한 강건성을 향상시킨다.
• 프레임워크는 신뢰도, 목표, 일관성, 분석의 네 가지 평가 차원을 중심으로 구성되어 있어 의심스러운 페이지를 종합적으로 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 피싱 탐지 모델이 널리 배포되어 있음에도 불구하고 최근 피싱 공격을 탐지하지 못하는 이유는 무엇인가?
• RQ2 현대의 피싱 사이트는 URL 기반 및 콘텐츠 기반 탐지 시스템을 우회하기 위해 어떤 특정한 기법을 사용하는가?
• RQ3 현재 기계학습 기반 탐지기에서 실패의 근본 원인이 특징 공간의 제한성과 관련된 이유는 무엇인가?
• RQ4 웹페이지의 정적 콘텐츠 외부의 외부 상호참조 신호를 통합함으로써 탐지 성능을 어떻게 향상시킬 수 있는가?
• RQ5 수직적 특징 공간과 수평적 특징 공간을 융합한 하이브리드 모델이 보고된 피싱 공격과 0일차 피싱 공격 양쪽에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 다섯 가지 핵심적인 회피 기법을 규명하였다: sites.google 및 co.vu와 같은 양호한 서비스를 활용해 피싱 URL를 위장하는 방식, 양호한 페이지와 높은 HTML 구조 유사성, 클라이언트 측 자바스크립트 가로채기, 비밀번호 외의 데이터(예: 식별자, 문서)를 대상으로 하는 공격, 사용자 상호작용 이후에 콘텐츠를 지연 렌더링하는 방식.
• 탐지 실패의 근본 원인은 URL과 정적 HTML에 직접 노출된 내용에만 집중하는 수직적 특징 공간에 과도하게 의존하기 때문이며, 이는 오염 기법에 취약하게 만든다.
• Anti-SubtlePhish는 보고된 피싱 페이지에서 96.1%의 정확도를 기록했고, 탐지되지 않은 피싱 페이지에서는 98.8%의 정확도를 달성하여 기준 모델보다 뚜렷이 뛰어났다.
• 수동으로 제작한 0일차 피싱 데이터셋에 대해 100%의 정확도를 기록했으며, VirusTotal 벤더들은 배포 후 첫 네 날 동안 0%의 정확도를 기록했다.
• WHOIS 연수, Google 색인 순위, 레이어링된 페이지 행동 등의 수평적 특징 통합이 정교하고 회피 가능한 피싱 공격을 탐지하는 데 핵심적인 역할을 했다.
• 신뢰도, 목표, 일관성, 분석의 네 차원 평가 프레임워크는 전통적 모델이 놓치는 미세한 피싱 징후를 효과적으로 포착했다.