[논문 리뷰] Determining the Scale of Impact from Denial-of-Service Attacks in Real Time Using Twitter

Chi Zhang, Bryan Wilkinson외 2명|arXiv (Cornell University)|2019. 09. 12.

Network Security and Intrusion Detection참고 문헌 27인용 수 4

한 줄 요약

이 논문은 실시간 트위터 데이터를 사용하여 DDoS 공격 관련 트윗을 감지하고 공격 영향 범위를 신속하게 평가하기 위해 약한 지도 학습 기반 NLP 모델을 제안한다. 이 모델은 잠재 Dirichlet 분포(LDA)와 대칭 Kullback-Leibler 발산을 활용하며, 지도 학습 모델과 비교해 유사한 정밀도를 달성하고 금융기관 간 일반화 능력을 보이며, 정밀도 향상을 위해 선택적 지도 학습 분류기 레이어를 통해 미세조정할 수 있다. 이는 재현율 감소를 수반한다.

ABSTRACT

Denial of Service (DoS) attacks are common in on-line and mobile services such as Twitter, Facebook and banking. As the scale and frequency of Distributed Denial of Service (DDoS) attacks increase, there is an urgent need for determining the impact of the attack. Two central challenges of the task are to get feedback from a large number of users and to get it in a timely manner. In this paper, we present a weakly-supervised model that does not need annotated data to measure the impact of DoS issues by applying Latent Dirichlet Allocation and symmetric Kullback-Leibler divergence on tweets. There is a limitation to the weakly-supervised module. It assumes that the event detected in a time window is a DoS attack event. This will become less of a problem, when more non-attack events twitter got collected and become less likely to be identified as a new event. Another way to remove that limitation, an optional classification layer, trained on manually annotated DoS attack tweets, to filter out non-attack tweets can be used to increase precision at the expense of recall. Experimental results show that we can learn weakly-supervised models that can achieve comparable precision to supervised ones and can be generalized across entities in the same industry.

연구 동기 및 목표

• 실시간 사용자 피드백을 활용해 DDoS 공격의 영향 범위를 신속히 평가하는 데 도전하는 것.
• 대규모 레이블링된 데이터셋이 필요 없이도 확장 가능하고 자원 소모가 적은 공격 관련 트윗 감지 방법을 개발하는 것.
• 트윗 내용과 시간 패턴만을 사용해 공격 심각도를 실시간으로 추정하는 것.
• 은행과 같은 동일 업종 내 기관 간 모델 일반화 능력을 평가하는 것.
• 선택적 지도 학습 분류기 레이어를 통해 정밀도와 재현율 간의 상충 관계를 탐색하는 것.

제안 방법

• 모델은 역사적 및 실시간 트윗 스트림에서 주제를 추출하기 위해 잠재 Dirichlet 분포(LDA)를 적용한다.
• 신규 주제 분포와 역사적 주제 분포 간의 대칭 Kullback-Leibler(KL) 발산을 계산하여 이상치를 탐지한다.
• 주제 분포의 변화에 기반한 이상치 점수를 생성하여 잠재적 DDoS 관련 이벤트를 식별한다.
• 주제 수는 하이퍼파rameter α를 통해 경험적으로 결정되며, 실험에서 α = 10일 때 최적 성능을 보였다.
• 수동으로 레이블링된 공격 트윗을 기반으로 선택적 지도 학습 분류기 레이어를 훈련시켜 가짜 경고를 걸러내 정밀도를 향상시키며, 이는 재현율 감소를 수반한다.
• 공격 관련 트윗의 비율과 수를 기반으로 한 공식을 사용해 영향 심각도를 추정한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 주제 모델링이 레이블링된 데이터 없이 실시간으로 DDoS 공격 관련 트윗을 높은 정밀도로 감지할 수 있는가?
• RQ2 레이블링되지 않은 데이터만을 사용할 때, 동일한 산업 내 다양한 금융기관 간에 모델의 일반화 능력은 얼마나 우수한가?
• RQ3 지도 학습 분류기 레이어를 추가할 경우 정밀도와 재현율 간의 상충 관계는 어떻게 되는가?
• RQ4 주제 수 하이퍼파rameter α의 선택이 모델 성능에 얼마나 민감한가?
• RQ5 수동으로 레이블링된 학습 데이터에 의존하지 않고도 모델이 공격 이벤트를 신뢰성 있게 감지할 수 있는가?

주요 결과

• 약한 지도 학습 모델은 레이블링된 학습 데이터 없이도 지도 학습 기반 기준 모델과 유사한 정밀도를 달성하여 뛰어난 성능을 보였다.
• 모델은 Bank of America, PNC, Wells Fargo와 같은 동일 도메인 내 기관 간에 효과적으로 일반화되어 있어 기관별 언어 변형에 대한 강건성을 입증했다.
• 지도 학습 분류기 레이어를 추가함으로써 비공격 트윗을 걸러내 정밀도가 향상되었지만, 더 엄격한 걸러내기로 인해 재현율이 감소했다.
• 모델 성능은 하이퍼파rameter α의 선택에 매우 민감하며, 실험에서 α = 10일 때 최적의 결과를 보였다.
• 트윗에 대해 자동 주제 수 추정을 위한 계층적 Dirichlet 과정(HDP) 모델은 성능이 열악했으며, 이는 마이크로블로그 콘텐츠의 짧고 노이즈가 많은 특성 때문일 것이다.
• 사람 간 트윗 분류 일치도가 낮았으며(34개 트윗 중 유일하게 2개만 일치 레이블링), 수동 레이블링의 어려움을 입증하고 자동 감지의 가치를 강조한다.