[논문 리뷰] Detecting Phishing Sites -- An Overview

P. Kalaharsha, B. M. Mehtre|arXiv (Cornell University)|2021. 03. 23.

Spam and Phishing Detection참고 문헌 33인용 수 20

한 줄 요약

이 논문은 URL, 콘텐츠 및 시각적 특징을 사용하여 9개의 데이터셋을 기반으로 18개의 기계학습 모델을 평가함으로써 피싱 탐지 기법에 대한 종합적인 개요를 제공한다. CNN-MHSA는 99.84%의 정확도를 기록하며 최고의 성능을 보였고, OFS-NN은 99.3%의 정확도를 기록하였다. 그러나 가짜 경고, 과적합, 데이터셋의 최신성 등의 문제로 인해 실세계 적용이 어려운 점이 드러났다.

ABSTRACT

Phishing is one of the most severe cyber-attacks where researchers are interested to find a solution. In phishing, attackers lure end-users and steal their personal in-formation. To minimize the damage caused by phishing must be detected as early as possible. There are various phishing attacks like spear phishing, whaling, vishing, smishing, pharming and so on. There are various phishing detection techniques based on white-list, black-list, content-based, URL-based, visual-similarity and machine-learning. In this paper, we discuss various kinds of phishing attacks, attack vectors and detection techniques for detecting the phishing sites. Performance comparison of 18 different models along with nine different sources of datasets are given. Challenges in phishing detection techniques are also given.

연구 동기 및 목표

• 목록 기반, 히ュ리스틱 기반, 시각적 유사도 기반, 기계학습 기반 등 다양한 범주에 걸친 기존 피싱 탐지 기법을 조사하고 비교하기 위해.
• 다양한 데이터셋을 사용하여 18종의 기계학습 모델의 성능을 평가하여 가장 정확한 탐지 방법을 특정하기 위해.
• 가짜 경고, 가짜 부정, 데이터셋 최신성, 특징 선택, 과적합 등 피싱 탐지의 핵심 과제를 규명하기 위해.
• 모델, 데이터셋, 특징 세트 간의 성능 지표를 종합하여 향후 연구의 기준을 마련하기 위해.
• 현재 방법의 한계를 분석함으로써 더 견고하고 확장 가능하며 정확한 피싱 탐지 시스템 개발을 이끌기 위해.

제안 방법

• 이 연구는 나이브 베이즈, 랜덤 포레스트, CNN, RNN, LSTM, 다층 퍼셉트론, 그리고 CNN+LSTM 및 CNN+RNN 등의 하이브리드 모델을 포함한 18개의 기계학습 모델을 평가한다.
• 모델들은 PhishTank, UCI 기계학습 레포지터리, Common-Crawl, Alexa, OpenPhish 등의 서로 다른 9개의 데이터셋을 기반으로 훈련 및 테스트된다.
• 특징 추출에는 URL 기반 특징(예: 서브도메인, 철자 실수, IDN 동음이의어), 콘텐츠 기반 특징(예: 민감한 키워드), 소스코드 기반 특징(예: 임bedded iFrames) 등이 포함된다.
• 성능는 정확도를 기준으로 측정되며, 다양한 모델과 데이터셋 조합에 대한 비교 표에 종합적으로 정리된다.
• 컨volutional Neural Network with Multi-Head Self-Attention(CNN-MHSA) 및 Optimal Feature Selection Neural Network(OFS-NN)와 같은 하이브리드 아키텍처의 평가가 포함된다.
• 재현성과 다양한 실험 환경 간 일관성을 확보하기 위해 기존 문헌과 벤치마크 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋을 기반으로 하여 피싱 웹사이트 탐지에서 가장 높은 정확도를 달성하는 기계학습 모델은 무엇인가?
• RQ2 URL, 콘텐츠, 소스코드, 시각적 유사도 등의 다양한 특징 유형이 탐지 성능에 어떤 영향을 미치는가?
• RQ3 가짜 경고, 가짜 부정, 과적합, 데이터셋 최신성 등의 핵심 과제들이 피싱 탐지 시스템의 실세계 적용 효과를 제한하는 이유는 무엇인가?
• RQ4 모델 아키텍처(예: CNN, RNN, 하이브리드 모델)가 새로운 피싱 사이트에 대한 탐지 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 데이터셋 특성(크기, 출처, 최신성)이 모델 성능과 훈련 시간에 어떤 영향을 미치는가?

주요 결과

• CNN-MHSA 모델은 PhishTank 및 5000개의 최고 웹사이트에서 온 데이터셋을 사용하여 99.84%의 정확도를 기록하며 최고의 성능을 보였다.
• OFS-NN 모델은 UCI와 PhishTank에서 온 데이터셋을 사용하여 99.3%의 정확도를 기록하며 대부분의 다른 모델을 능가했다.
• 다층 퍼셉트론은 카글 데이터셋에서 98.4%의 정확도를 기록하여 밀집 신경망에서 강력한 성능을 보였다.
• 가짜 경고와 가짜 부정은 여전히 핵심 과제이며, 일부 모델은 정상 사이트를 잘못 분류하거나 악성 사이트를 탐지하지 못하는 경우가 있었다.
• 과적합은 주요 문제로 지목되었으며, 특히 오래되거나 작은 데이터셋으로 훈련된 모델에서 신규 피싱 변종에 대한 일반화 능력이 떨어지는 경향이 있었다.
• 데이터셋 최신성과 특징 선택은 모델 성능에 중대한 영향을 미치며, 오래된 데이터셋은 새로운 피싱 기법에 대한 탐지 정확도를 낮춘다.