[論文レビュー] A Grid Based Adversarial Clustering Algorithm

Wutao Wei, Gupta, Nikhil+1 more|arXiv (Cornell University)|Apr 13, 2018

Anomaly Detection Techniques and Applications参考文献 34被引用数 3

ひとこと要約

本稿では、ラベル付きデータが限られる状況下でも、ゲーム理論的原則に基づき、コアな正常領域を特定し、その周囲に防御壁を構築するグリッドベースの敵対的クラスタリング手法ADClustを提案する。この手法は、重複する攻撃-正常領域、外れ値、部分クラスタを検出でき、活発な敵対的攻撃による高いデータ汚染にもかかわらず、防御壁内での正常オブジェクトの純度が約85–87%に達する。

ABSTRACT

Nowadays more and more data are gathered for detecting and preventing cyber attacks. In cyber security applications, data analytics techniques have to deal with active adversaries that try to deceive the data analytics models and avoid being detected. The existence of such adversarial behavior motivates the development of robust and resilient adversarial learning techniques for various tasks. Most of the previous work focused on adversarial classification techniques, which assumed the existence of a reasonably large amount of carefully labeled data instances. However, in practice, labeling the data instances often requires costly and time-consuming human expertise and becomes a significant bottleneck. Meanwhile, a large number of unlabeled instances can also be used to understand the adversaries' behavior. To address the above mentioned challenges, in this paper, we develop a novel grid based adversarial clustering algorithm. Our adversarial clustering algorithm is able to identify the core normal regions, and to draw defensive walls around the centers of the normal objects utilizing game theoretic ideas. Our algorithm also identifies sub-clusters of attack objects, the overlapping areas within clusters, and outliers which may be potential anomalies.

研究の動機と目的

• ラベル付きデータが乏しく、攻撃者が検知を回避するために行動を変更する状況下で、未知のアクティブなサイバー攻撃を検出する課題に対処すること。
• 攻撃インスタンスが正常データと溶け込むように戦略的に配置される敵対的データ操作に強く、耐性を持つクラスタリング手法を開発すること。
• 従来の半教師あり学習の仮定に依存せずに、コアな正常領域、重複する攻撃-正常領域、外れ値を特定し、段階的な分析を可能とすること。
• 純度とカバー範囲のバランスを最適化し、敵対的浸入のリスクを最小限に抑えるために、ゲーム理論を用いて正常クラスタの周囲に防御壁を定義すること。
• 混在領域や新たな攻撃クラスタの特定に注力することで、人的監査を迅速に実施し、未知の攻撃に対して迅速に対応できること。

提案手法

• 特徴空間を離散化するためのグリッドベースの分割法を適用し、局所的な密度とクラスタ構造の分析を可能にする。
• 少量のラベル付きインスタンス（正常／異常）を用いて、正常クラスタの中心を推定し、敵対的摂動を検出する。
• 防御壁の構築をゲーム理論的最適化問題として定式化し、防御者が正常コアの周囲の領域を選択することで、敵対的侵入のリスクを最小化する。
• 推定された密度と敵対的脅威モデルに基づき、αレベルの等高線（例：α = 0.7–0.8）を用いて防御壁を定義し、マンハッタン距離およびユークリッド距離のメトリクスを用いる。
• 攻撃と正常オブジェクトが顕著に重複する高不確実性領域として、混在領域と外れ値を特定し、人的監査を要する。
• 壁の拡張の攻撃性を制御するため、重みパラメータkを段階的に増加させる。これにより、カバー範囲と正常オブジェクトの純度のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 アクティブな敵対的攻撃者が検知を回避するために攻撃インスタンスを変更する状況下で、どのようにクラスタリングを強靭化できるか？
• RQ2 少数のラベル付きインスタンスを用いることで、極度に汚染されたデータにおいて、コアな正常領域や敵対的部分クラスタを信頼性高く特定できる範囲はどの程度か？
• RQ3 正常クラスタの周囲に防御壁を定義する最適な戦略は何か？ これにより、敵対的侵入のリスクを最小限に抑えることができるか？
• RQ4 防御壁のサイズと正常オブジェクトの純度のトレードオフが、敵対的クラスタリングの性能に与える影響は何か？
• RQ5 クラスの重なりが意図的かつ顕著な敵対的環境下で、本手法は半教師あり学習を上回る性能を示せるか？

主な発見

• 100回の実行において、防御壁内での正常オブジェクトの純度の中央値は0.85～0.87の範囲にあり、マンハッタン距離用にα = 0.8、ユークリッド距離用にα = 0.7で最適性能を示した。
• k = 30およびk = 50を重みパラメータとして用いた場合、k = 1よりも顕著に高い成功率を達成し、中程度の攻撃性がもたらす耐性の向上が確認された。
• kが1から100に増加するに従い、混在領域および外れ値における異常オブジェクトの割合は76%から73%に減少し、不確実領域の汚染が軽減された。
• アルゴリズムは重複領域と外れ値を正常に同定でき、人的監査による焦点化された分析や、未知の攻撃パターンの検出に不可欠な役割を果たした。
• 99.4%がラベルなしの高いデータ汚染にもかかわらず、ADClustは防御壁内での正常オブジェクトの平均純度がほぼ90%に達し、強い耐性を示した。
• 結果はゲーム理論的フレームワークの有効性を裏付け、理論的推奨値（α = 0.6–0.8）と実効性能が整合しており、妥当性が裏付けられた。