[논문 리뷰] Deep Reinforcement Learning for Detecting Malicious Websites

Moitrayee Chatterjee, Akbar Siami Namin|arXiv (Cornell University)|2019. 05. 22.

Spam and Phishing Detection참고 문헌 12인용 수 12

한 줄 요약

이 논문은 URL 분류를 순차적 결정 문제로 간주함으로써 악성 웹사이트를 탐지하기 위한 딥 강화학습(DRL) 모델을 제안한다. URL에서 추출한 14개의 어휘적 특징을 사용하여, 모델은 딥 Q넷(DQN)을 활용해 변화하는 피싱 패턴에 동적으로 학습하고 적응한다. 균형 잡힌 73,575개의 URL 데이터셋에서 90.1%의 정확도, 88%의 재현율, 87.3%의 F-측정치를 달성하였다.

ABSTRACT

Phishing is the simplest form of cybercrime with the objective of baiting people into giving away delicate information such as individually recognizable data, banking and credit card details, or even credentials and passwords. This type of simple yet most effective cyber-attack is usually launched through emails, phone calls, or instant messages. The credential or private data stolen are then used to get access to critical records of the victims and can result in extensive fraud and monetary loss. Hence, sending malicious messages to victims is a stepping stone of the phishing procedure. A extit{phisher} usually setups a deceptive website, where the victims are conned into entering credentials and sensitive information. It is therefore important to detect these types of malicious websites before causing any harmful damages to victims. Inspired by the evolving nature of the phishing websites, this paper introduces a novel approach based on deep reinforcement learning to model and detect malicious URLs. The proposed model is capable of adapting to the dynamic behavior of the phishing websites and thus learn the features associated with phishing website detection.

연구 동기 및 목표

• 진화하는 URL 구조에서 학습할 수 있는 자가 적응형, 동적 피싱 탐지 시스템을 개발하는 것.
• 정적 블랙리스트 및 히ュ리스틱 기반 방법의 한계를 해결하기 위해 강화학습 프레임워크를 도입하는 것.
• 균형 잡힌 정상 및 악성 URL 데이터셋을 사용하여 딥 Q넷(DQN) 모델의 URL 분류 성능을 평가하는 것.
• 이진 피싱 탐지 작업에 대해 DRL을 활용한 순차적 결정 문제의 타당성을 탐색하는 것.
• 기존 머신러닝 접근 방식을 초월한 강력하고 확장 가능하며 적응 가능한 피싱 탐지 프레임워크의 기반을 마련하는 것.

제안 방법

• 모델은 URL 입력 시퀀스를 행동 값으로 매핑하기 위해 딥 Q넷(DQN)을 사용하며, 행동은 피싱 또는 정상으로의 분류를 의미한다.
• 상태 표현은 각 URL에서 추출한 14개의 어휘적 특징을 기반으로 구성되며, 문자 빈도, 도메인 길이, 특수 문자 사용 여부 등이 포함된다.
• 에이전트는 정확한 분류에 기반한 희박한 보상을 제공하는 환경과 상호작용하면서 학습하며, 훈련을 안정화하기 위해 리PLAY 메모리 버퍼를 사용한다.
• Q-값 함수는 파라미터 θ를 가진 딥 신경망을 통해 근사되며, Adam 옵timizer를 사용한 확률적 경사 하강법으로 업데이트된다.
• 타겟 네트워크는 온라인 네트워크에서 분離된 타겟 Q-값 계산을 통해 학습 안정성을 높인다.
• 훈련 과정은 탐색과 이용의 균형을 이루기 위해 이psilon-그리디 탐색 전략을 따르며, 학습 중에 적용된다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 피싱 URL 분류를 위한 순차적 결정 문제를 효과적으로 모델링할 수 있는가?
• RQ2 전통적 머신러닝 방법에 비해 DRL 기반 분류기의 악성 웹사이트 탐지 성능는 어떻게 비교되는가?
• RQ3 단지 어휘적 특징만을 사용할 때 DRL 모델이 피싱 URL 패턴의 동적 변화에 얼마나 잘 적응할 수 있는가?
• RQ4 탐색 비율(ε) 및 보상 형태 조정과 같은 하이퍼파라미터가 모델의 수렴성과 분류 정확도에 어떤 영향을 미치는가?
• RQ5 DRL 프레임워크는 호스트 기반 또는 콘텐츠 기반 특징을 추가로 통합하여 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 DRL 모델은 Ebbu2017 데이터셋에서 90.1%의 정확도를 기록하여 73,575개의 균형 잡힌 URL에서 강력한 일반화 능력을 입증하였다.
• 모델은 재현율 88%를 기록하여 실제로 존재하는 피싱 URL의 88%를 성공적으로 식별함을 보여주었으며, 이는 거짓 음성(false negative)을 최소화하는 데 매우 중요하다.
• F-측정치는 87.3%에 도달하여 정밀도와 재현율 사이의 균형 잡힌 무결성을 확인하였으며, 이는 모델의 내구성과 신뢰성을 입증한다.
• 정밀도는 86.7%로 측정되어 악성으로 분류된 URL 중 86.7%가 실제로 피싱 시도임을 의미한다.
• 특히 신규로 생성되거나 변화하는 피싱 URL을 탐지하는 데서, 기존 머신러닝 기반 방법에 비해 동적 적응 능력에서 뛰어난 성능을 보였다.
• 본 연구에서는 보상 함수 조정이 이루어지지 않았기 때문에, 향후 연구에서 최적화된 보상 형태 조정을 통해 성능 향상 여지가 있음을 시사한다.