[논문 리뷰] BotGraph: Web Bot Detection Based on Sitemap

Yang Luo, Guozhen She외 2명|arXiv (Cornell University)|2019. 03. 19.

Network Security and Intrusion Detection참고 문헌 8인용 수 4

한 줄 요약

BotGraph는 웹 트래픽을 사이트맵 기반 세션 서브그래프에서 유도된 2차원 이미지로 모델링하여 컨volutional 신경망(CNN)을 통해 고정밀도로 봇을 탐지하는 행동 기반 봇 탐지 시스템을 제안한다. 실세계 프로덕션 데이터에서 약 95%의 정밀도와 재현율을 달성하며, UserAgent나 IP 주소처럼 쉽게 위조 가능한 신원 특징에 의존하지 않고도 봇을 효과적으로 식별한다.

ABSTRACT

The web bots have been blamed for consuming large amount of Internet traffic and undermining the interest of the scraped sites for years. Traditional bot detection studies focus mainly on signature-based solution, but advanced bots usually forge their identities to bypass such detection. With increasing cloud migration, cloud providers provide new opportunities for an effective bot detection based on big data to solve this issue. In this paper, we present a behavior-based bot detection scheme called BotGraph that combines sitemap and convolutional neural network (CNN) to detect inner behavior of bots. Experimental results show that BotGraph achieves ~95% recall and precision on 35-day production data traces from different customers including the Bing search engine and several sites.

연구 동기 및 목표

• IP 차단 또는 UserAgent 필터링과 같은 전통적인 신원 기반 탐지 방법을 회피하는 고도의 발전된 웹 봇을 탐지하는 데 도전하는 것.
• 수백만 개의 이질적인 웹사이트를 관리하는 클라우드 제공업체에 적합한 통합적이고 확장 가능한 봇 탐지 체계를 개발하는 것.
• 특히 URL 접근 순서와 빈도와 같은 웹 트래픽의 행동 패턴을 이용해 신원에 관계없이 강력한 탐지 신호를 확보하는 것.
• 봇 지문 유사성 공격으로 인해 기존 방법이 실패하는 고봇 트래픽 환경에서의 탐지 정확도를 향상시키는 것.
• 그래프 기반 세션 모델링과 딥러닝의 조합이 봇과 정상 사용자를 효과적으로 구분할 수 있음을 입증하는 것.

제안 방법

• 정적 파일 파싱, 동적 크롤링, 접근 로그에서의 히우리스틱 기반 추론을 활용해 각 웹사이트의 사이트맵을 구성하는 방법을 3가지로 구분.
• 각 클라이언트 세션을 URL 패턴을 노드로, 접근 전이와 빈도를 간선으로 포함하는 사이트맵의 서브그래프로 매핑.
• URL 접근 패턴과 빈도를 공간 인코딩 방식으로 활용해 각 세션 서브그래프를 2차원 이미지 표현으로 변환.
• 라벨이 부여된 트래픽 트레이스를 기반으로 지도 학습을 수행해, 이 2차원 이미지에 대해 컨volutional 신경망(CNN)을 훈련시켜 세션을 봇 또는 비봇으로 분류.
• CNN의 특징 맵을 활용해 클라이언트 측 신호나 신원 메타데이터에 의존하지 않고도 세션 행동의 구분 가능한 패턴을 학습하는 것.
• 생산 환경에서 저지연 시간 구현을 보장하기 위해 추론 성능을 최적화하고, GPU 하드웨어에서의 벤치마킹을 수행.

실험 결과

연구 질문

• RQ1 실세계 고트래픽 환경에서 사이트맵 기반 세션 그래프를 활용한 행동 기반 탐지가 신원 기반 봇 탐지보다 뛰어난 성능을 보일 수 있는가?
• RQ2 세션 서브그래프의 2차원 이미지에 기반한 CNN 모델이 IP 주소나 UserAgent 문자열을 사용하지 않고도 봇 탐지에서 높은 정밀도와 재현율을 달성할 수 있는가?
• RQ3 사이트맵 기반 그래프 표현 방식은 다양한 웹사이트에서 봇과 정상 사용자 간의 구분 가능한 행동 패턴을 얼마나 효과적으로 포착하는가?
• RQ4 특히 저봇 트래픽 환경에서 봇 대 사용자 세션 비율이 변할 경우 BotGraph 모델의 성능은 어떠한가?
• RQ5 사이트 특화 기능이 아닌 구조적 세션 패턴에 의존하기 때문에, 재학습 없이도 다양한 산업 분야와 웹사이트 유형 간에 일반화가 가능한가?

주요 결과

• BotGraph는 Bing과 여러 고객 웹사이트를 포함한 다양한 출처에서 확보한 35일간의 프로덕션 트레이서에서 약 95%의 정밀도와 재현율을 달성했다.
• 봇 세션 비율(BoS) ≥ 49%인 데이터셋에서는 BotGraph가 >95%의 정밀도와 재현율을 유지하며 고봇 환경에서도 뛰어난 성능을 보였다.
• 저봇 트래픽 환경(BoS < 10%)에서도 BotGraph는 >95%의 정밀도와 약 70%의 재현율을 확보하여 산산이 흩어진 봇 행동에도 강건함을 입증했다.
• ClientIP, UserAgent와 같은 신원 기반 특징이 제거된 조건에서 전통적인 머신러닝 방법(SVM, XGBoost, LSTM)보다 뛰어난 성능을 보였다.
• 거짓 경고와 거짓 부정은 주로 세션당 3개 이하의 URL 접근이 있는 경우 발생하며, 이는 봇과 인간의 행동 패턴이 최소 상호작용로 인해 유사해지기 때문이다.
• 표준 GPU 하드웨어에서 시스템은 최소한의 지연 시간을 유발하며, 추론 성능는 일반적인 인터넷 라운드트립 지연 시간(50–100 ms)과 유사하다.