[論文レビュー] Determining the Scale of Impact from Denial-of-Service Attacks in Real Time Using Twitter

Chi Zhang, Bryan Wilkinson+2 more|arXiv (Cornell University)|Sep 12, 2019

Network Security and Intrusion Detection参考文献 27被引用数 4

ひとこと要約

本稿では、LDA（潜在ディリクレ配分）と対称Kullback-Leibler発散を活用して、リアルタイムでTwitterデータを用いてDDoS攻撃関連のツイートを検出する弱教師ありNLPモデルを提案する。これにより、攻撃の影響規模を迅速に推定できる。この手法は教師ありモデルと同等の精度を達成し、金融機関間で一般化可能であり、精度を向上させるために任意の教師あり分類器レイヤーによるファインチューニングが可能であるが、その代わりリCALLが低下する。

ABSTRACT

Denial of Service (DoS) attacks are common in on-line and mobile services such as Twitter, Facebook and banking. As the scale and frequency of Distributed Denial of Service (DDoS) attacks increase, there is an urgent need for determining the impact of the attack. Two central challenges of the task are to get feedback from a large number of users and to get it in a timely manner. In this paper, we present a weakly-supervised model that does not need annotated data to measure the impact of DoS issues by applying Latent Dirichlet Allocation and symmetric Kullback-Leibler divergence on tweets. There is a limitation to the weakly-supervised module. It assumes that the event detected in a time window is a DoS attack event. This will become less of a problem, when more non-attack events twitter got collected and become less likely to be identified as a new event. Another way to remove that limitation, an optional classification layer, trained on manually annotated DoS attack tweets, to filter out non-attack tweets can be used to increase precision at the expense of recall. Experimental results show that we can learn weakly-supervised models that can achieve comparable precision to supervised ones and can be generalized across entities in the same industry.

研究の動機と目的

• リアルタイムでのユーザーフィードバックを用いて、DDoS攻撃の影響規模を迅速に評価する課題に対処すること。
• 大規模なアノテート済みデータセットを必要としない、スケーラブルでリソースが少ない攻撃関連ツイート検出手法の開発。
• ツイート本文と時間的パターンのみを用いて、リアルタイムで攻撃深刻度を推定すること。
• 同業界の機関（例：銀行）間でのモデルの一般化能力を評価すること。
• 任意の教師あり分類器レイヤーを用いた、精度とリCALLのトレードオフを検討すること。

提案手法

• モデルは、歴史的かつリアルタイムのツイートストリームに対して、潜在ディリクレ配分（LDA）を適用してトピックを抽出する。
• 新しいトピックの分布と歴史的トピック分布との間の対称Kullback-Leibler（KL）発散を計算し、異常を検出する。
• トピック分布のシフトに基づいて異常スコアを生成し、潜在的なDDoS関連イベントを特定する。
• トピック数はハイパーパrameter αを用いて経験的に決定され、α = 10が最適なパフォーマンスを示した。
• 誤検出を低減するために、手動でアノテートされた攻撃関連ツイート上でトレーニングされた任意の教師あり分類器レイヤーを導入する。これにより精度が向上するが、リCALLが低下する。
• 攻撃関連ツイートの比率と件数に基づく式を用いて、影響深刻度を推定する。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありトピックモデリングは、アノテート済みデータがなくても、リアルタイムでDDoS攻撃関連ツイートを高い精度で検出できるか？
• RQ2 アノテート済みデータが一切ない状況下でも、同じ分野の金融機関間でモデルがどれほど一般化できるか？
• RQ3 教師あり分類器レイヤーを追加した場合、精度とリCALLのトレードオフはどの程度か？
• RQ4 ハイパーパrameter α（トピック数）の選択がモデルパフォーマンスにどの程度影響を及けるか？
• RQ5 手動ラベル付きトレーニングデータに依存せずに、モデルが攻撃イベントを信頼性高く検出できるか？

主な発見

• 弱教師ありモデルは、アノテート済みトレーニングデータがなくても、教師ありベースラインモデルと同等の精度を達成しており、優れた性能を示している。
• モデルは同分野の機関（例：バンク・オブ・アメリカ、PNC、ウェルズ・ファゴ）間で効果的に一般化しており、機関固有の言語変動に対しても頑健であることが示された。
• 教師あり分類器レイヤーの追加により、非攻撃ツイートのフィルタリングが可能となり、精度が向上したが、厳密なフィルタリングのためリCALLが低下した。
• モデルのパフォーマンスはハイパーパrameter αの選択に極めて敏感であり、実験ではα = 10が最適な結果をもたらした。
• 微ブログの短いノイズの多い性質のため、自動トピック数推定にヒエラルヒカル・ディリクレ過程（HDP）モデルを適用したが、その性能は芳しくなかった。
• 人間のラベル付けの合意率は低く（34件中わずか2件のみが全員で一致）、手動アノテーションの難易度と、自動検出の価値を浮き彫りにした。