[논문 리뷰] A Grid Based Adversarial Clustering Algorithm

Wutao Wei, Gupta, Nikhil외 1명|arXiv (Cornell University)|2018. 04. 13.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 3

한 줄 요약

이 논문은 적대적 환경에서 최소한의 레이블 데이터로도 핵심 정상 영역을 식별하고 게임 이론 원리를 활용해 방어벽을 그려 정상 영역을 보호하는 격자 기반의 적대적 클러스터링 알고리즘인 ADClust를 제안한다. 이 알고리즘은 겹치는 공격-정상 영역, 이질점, 하위 클러스터를 탐지하며, 활성 공격자에 의한 높은 데이터 오염에도 불구하고 방어벽 내부에서 약 85–87%의 순수 정상 객체 비율을 달성한다.

ABSTRACT

Nowadays more and more data are gathered for detecting and preventing cyber attacks. In cyber security applications, data analytics techniques have to deal with active adversaries that try to deceive the data analytics models and avoid being detected. The existence of such adversarial behavior motivates the development of robust and resilient adversarial learning techniques for various tasks. Most of the previous work focused on adversarial classification techniques, which assumed the existence of a reasonably large amount of carefully labeled data instances. However, in practice, labeling the data instances often requires costly and time-consuming human expertise and becomes a significant bottleneck. Meanwhile, a large number of unlabeled instances can also be used to understand the adversaries' behavior. To address the above mentioned challenges, in this paper, we develop a novel grid based adversarial clustering algorithm. Our adversarial clustering algorithm is able to identify the core normal regions, and to draw defensive walls around the centers of the normal objects utilizing game theoretic ideas. Our algorithm also identifies sub-clusters of attack objects, the overlapping areas within clusters, and outliers which may be potential anomalies.

연구 동기 및 목표

• 레이블 데이터가 부족하고 공격자가 탐지 회피를 위해 행동을 수정하는 상황에서 알려지지 않은, 능동적으로 회피하는 사이버 공격을 탐지하는 데 도전 과제를 해결한다.
• 공격 인스턴스가 정상 데이터와 융합하도록 전략적으로 배치되는 적대적 데이터 조작에 강건한 클러스터링 방법을 개발한다.
• 伝통적인 준감독 학습 가정에 의존하지 않고, 핵심 정상 영역, 겹치는 공격-정상 영역, 이질점을 식별하여 계층적 분석을 가능하게 한다.
• 정상 클러스터 주변의 방어벽을 설정하기 위해 게임 이론을 활용하여 순도와 커버리지 사이의 균형을 이루며, 적대적 침투 위험을 최소화한다.
• 혼합 영역과 잠재적 신규 공격 클러스터를 중심으로 인간의 검토를 집중시켜 새로운 공격에 신속히 대응할 수 있도록 한다.

제안 방법

• 특성 공간을 이산화하기 위해 격자 기반의 분할 기법을 적용하여 국소적 분석이 가능하게 한다.
• 정상/이상 레이블이 부여된 소량의 인스턴스를 사용해 정상 클러스터의 중심을 추정하고, 적대적 변형을 탐지한다.
• 방어벽 구축을 게임 이론 최적화 문제로 공식화하여, 수비자가 정상 코어 주변의 영역을 선택해 적대적 침투 위험을 최소화한다.
• 추정된 밀도와 적대적 위협 모델을 바탕으로 알파 수준 등고선(예: α = 0.7–0.8)을 사용해 방어벽을 정의하며, 맨해튼 거리 및 유클리드 거리 측정법을 적용한다.
• 공격과 정상 객체가 크게 겹치는 고불확실성 영역으로서의 혼합 영역과 이질점을 식별하여 인간의 검토가 필요하다.
• 벽 확장의 공격성( aggressiveness )을 제어하기 위해 가중치 파라미터 k를 점진적으로 증가시켜 커버리지와 정상 객체의 순도 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 활동적인 적대자에 의해 공격 인스턴스가 탐지 회피를 위해 수정되는 상황에서 클러스터링이 어떻게 강건하게 유지될 수 있는가?
• RQ2 소량의 레이블 인스턴스로도 높이 오염된 데이터에서 핵심 정상 영역과 적대적 하위 클러스터를 신뢰성 있게 식별할 수 있는가?
• RQ3 정상 클러스터 주변의 방어벽을 정의하는 최적의 전략은 무엇인가? 이는 적대적 침투 위험을 최소화하기 위함이다.
• RQ4 방어벽 크기와 정상 객체의 순도 사이의 트레이드오프는 적대적 클러스터링의 성능에 어떤 영향을 미치는가?
• RQ5 클래스 오버랩이 의도적이고 상당한 상황에서 준감독 학습 기법보다 제안된 방법이 우수한 성능을 보일 수 있는가?

주요 결과

• 100회의 실행 동안 방어벽 내부의 정상 객체 순도 중앙값은 0.85에서 0.87 사이를 오갔으며, 맨해튼 거리 기반 방어벽의 최적 성능는 α = 0.8, 유클리드 기반 방어벽은 α = 0.7에서 달성되었다.
• k = 30 및 k = 50를 가중치 파라미터로 사용할 경우 k = 1보다 유의미하게 높은 성공률를 기록하여 중간 정도의 공격성으로 인해 강건성이 향상됨을 확인했다.
• k가 1에서 100으로 증가함에 따라 혼합 영역과 이질점 내 이상 객체 비율은 76%에서 73%로 감소하여 불확실 영역의 오염도가 감소함을 나타냈다.
• 알고리즘이 겹치는 영역과 이질점을 성공적으로 식별하여 인간의 집중적 검토와 새로운 공격 패tern 탐지에 기여했다.
• 99.4%의 레이블이 없는 높은 데이터 오염에도 불구하고 ADClust는 방어벽 내 평균 약 90%의 순수 정상 객체 비율을 달성하여 강력한 내성성을 입증했다.
• 결과는 게임 이론 프레임워크의 타당성을 입증하였으며, 이론적 권고와 경험적 성능가 일치하는 최적의 α 수준(0.6–0.8)이 확인되었다.