[논문 리뷰] Advanced Evasion Attacks and Mitigations on Practical ML-Based Phishing Website Classifiers

Yusi Lei, Sen Chen외 3명|arXiv (Cornell University)|2020. 04. 15.

Spam and Phishing Detection참고 문헌 60인용 수 6

한 줄 요약

이 논문은 기능과 외관을 유지하는 변형 기반 기법을 사용하여 실용적인 기계학습 기반 피싱 웹사이트 분류기 대상으로 화이트박스, 회색박스,_blk박스 환경에서 고도화된 회피 공격을 제안한다. 이는 Google의 피싱 페이지 필터(GPPF)에 대해 1초 미만으로 100%의 공격 성공률를 달성했고, BitDefender의 TrafficLight에 대해서는 81.25%의 성공률를 기록했다. 또한 알려진 피싱 사이트와의 유사도 비교를 통해 이러한 공격을 탐지하는 방어 기법인 Pelican을 제안한다.

ABSTRACT

Machine learning (ML) based approaches have been the mainstream solution for anti-phishing detection. When they are deployed on the client-side, ML-based classifiers are vulnerable to evasion attacks. However, such potential threats have received relatively little attention because existing attacks destruct the functionalities or appearance of webpages and are conducted in the white-box scenario, making it less practical. Consequently, it becomes imperative to understand whether it is possible to launch evasion attacks with limited knowledge of the classifier, while preserving the functionalities and appearance. In this work, we show that even in the grey-, and black-box scenarios, evasion attacks are not only effective on practical ML-based classifiers, but can also be efficiently launched without destructing the functionalities and appearance. For this purpose, we propose three mutation-based attacks, differing in the knowledge of the target classifier, addressing a key technical challenge: automatically crafting an adversarial sample from a known phishing website in a way that can mislead classifiers. To launch attacks in the white- and grey-box scenarios, we also propose a sample-based collision attack to gain the knowledge of the target classifier. We demonstrate the effectiveness and efficiency of our evasion attacks on the state-of-the-art, Google's phishing page filter, achieved 100% attack success rate in less than one second per website. Moreover, the transferability attack on BitDefender's industrial phishing page classifier, TrafficLight, achieved up to 81.25% attack success rate. We further propose a similarity-based method to mitigate such evasion attacks, Pelican. We demonstrate that Pelican can effectively detect evasion attacks. Our findings contribute to design more robust phishing website classifiers in practice.

연구 동기 및 목표

• 제한된 분류기 지식을 바탕으로 실용적인 기계학습 기반 피싱 웹사이트 분류기 대상으로 효과적인 회피 공격를 수행할 수 있는지 조사하기 위해.
• 회피 공격 중에 피싱 웹사이트의 기능과 외관을 유지하여 더 현실적이고 효과적인 공격를 가능하게 하기 위해.
• 화이트박스 및 회색박스 환경에서 분류 규칙을 추론하기 위해 샘플 기반 충돌 공격를 개발하기 위해.
• 기존 알려진 피싱 사이트와의 유사도 비교를 통해 악성 웹사이트를 탐지하는 방어 메커니즘 Pelican을 제안하기 위해.
• 공격 비용을 증가시키기 위해 공격에 대한 복잡성과 비용을 높이는 두 가지 분류 규칙 선택 전략을 통해 분류기의 강건성을 향상시키기 위해.

제안 방법

• 다양한 수준의 분류기 지식에 맞춰 각각 화이트박스, 회색박스, 블랙박스 공격을 위한 세 가지 변형 기반의 회피 공격를 제안한다.
• 화이트박스 환경에서는 분류기의 결정 점수를 최소화하기 위해 반복적으로 기능을 삭제하거나 추가하는 근사 알고리즘을 사용한다.
• 분류기를 쿼리하고 출력 점수를 분석하여 해시된 기능과 분류 규칙을 추론하기 위해 샘플 기반 충돌 공격를 활용한다.
• 알 수 없는 웹사이트를 최근에 감지된 피싱 사이트와의 기능 유사도를 비교하여 악성 샘플을 탐지하는 유사도 기반 방어 기법 Pelican을 도입한다.
• 공격의 복잡성과 비용을 증가시키기 위해 강력하고 비트레ivial한 규칙을 선택하는 두 가지 분류 규칙 선택 전략을 적용한다.
• 버그 테스트에서 유래한 변형 기법을 활용하여 알려진 피싱 웹사이트를 체계적으로 수정하면서도 악성 의도와 사용성을 유지한다.

실험 결과

연구 질문

• RQ1 기능과 외관을 유지하면서도, 회색박스 및 블랙박스 환경에서 실용적인 기계학습 기반 피싱 웹사이트 분류기 대상으로 효과적인 회피 공격를 수행할 수 있는가?
• RQ2 완전한 액세스 없이도 샘플 기반 충돌 공격가 타겟 분류기의 분류 규칙과 기능을 얼마나 효과적으로 추론할 수 있는가?
• RQ3 BitDefender의 TrafficLight와 같은 다양한 산업용 피싱 탐지 시스템 간에 회피 공격의 이식성은 어떠한가?
• RQ4 Pelican과 같은 유사도 기반 방어 기법이 회피 공격를 통해 제작된 악성 웹사이트를 신뢰성 있게 탐지할 수 있는가?
• RQ5 전략적 분류 규칙 선택 방법이 공격의 난이도와 비용을 얼마나 증가시키는가?

주요 결과

• 제안된 회피 공격는 GPPF에 대해 웹사이트당 1초 미만의 시간 안에 100% 성공률를 기록했다. 블랙박스 환경에서도 동일한 성과를 달성했다.
• BitDefender의 TrafficLight 분류기 대상으로 수행된 이식성 공격는 81.25%의 성공률를 기록하여, 다양한 모델 간의 효과적인 공격 가능성을 입증했다.
• 샘플 기반 충돌 공격는 GPPF의 거의 모든 해시 기능과 분류 규칙을 성공적으로 추론했으며, 이는 이전의 충돌 기반 기법보다 뛰어난 성능을 보였다.
• 제안된 방어 기법인 Pelican은 알려진 피싱 웹사이트와의 유사도 비교를 통해 악성 샘플을 효과적으로 탐지했으며, 분류기의 강건성을 향상시켰다.
• 두 가지 분류 규칙 선택 전략은 공격의 복잡성을 크게 증가시켜 공격 수행 비용을 상당히 높였다.
• 본 연구는 실용적인 기계학습 기반 피싱 분류기들이 기능과 외관 유지 제약 조건 하에서도 여전히 회피 공격에 취약하다는 점을 드러냈다.