[논문 리뷰] Semi-WTC: A Practical Semi-supervised Framework for Attack Categorization through Weight-Task Consistency

Zihan Li, Wentao Chen외 3명|arXiv (Cornell University)|2022. 05. 19.

Network Security and Intrusion Detection인용 수 5

한 줄 요약

이 논문은 클래스 불균형 문제를 해결하기 위해 웨이트-태스크 일致성(WTC)을 사용하고, 효과적인 자기지도 학습을 위해 순환 프로토타입 모듈(RPM)을 활용하는 세미-서프로비즈드 프레임워크인 Semi-WTC를 제안한다. 기존 최고 성능(SOTA) 방법 대비 94.06%의 정확도와 90%의 학습 시간 감소를 달성한다.

ABSTRACT

Supervised learning has been widely used for attack categorization, requiring high-quality data and labels. However, the data is often imbalanced and it is difficult to obtain sufficient annotations. Moreover, supervised models are subject to real-world deployment issues, such as defending against unseen artificial attacks. To tackle the challenges, we propose a semi-supervised fine-grained attack categorization framework consisting of an encoder and a two-branch structure and this framework can be generalized to different supervised models. The multilayer perceptron with residual connection is used as the encoder to extract features and reduce the complexity. The Recurrent Prototype Module (RPM) is proposed to train the encoder effectively in a semi-supervised manner. To alleviate the data imbalance problem, we introduce the Weight-Task Consistency (WTC) into the iterative process of RPM by assigning larger weights to classes with fewer samples in the loss function. In addition, to cope with new attacks in real-world deployment, we propose an Active Adaption Resampling (AAR) method, which can better discover the distribution of unseen sample data and adapt the parameters of encoder. Experimental results show that our model outperforms the state-of-the-art semi-supervised attack detection methods with a 3% improvement in classification accuracy and a 90% reduction in training time.

연구 동기 및 목표

• 소수의 공격 유형이 부족한 데이터 불균형 문제를 해결함으로써 세미-서프로비즈드 공격 분류에서의 도전 과제를 해결한다.
• 미리 보지 못한 공격과 악성 변형을 처리함으로써 실세계 적용에서 모델의 일반화 능력과 강건성을 향상시킨다.
• 분포 인식 기반의 능동적 샘플 선택 메커니즘을 통해 대규모 라벨 데이터에 대한 의존도를 줄인다.
• 다양한 딥러닝 모델과 호환되는 일반적이고 확장 가능한 프레임워크를 개발한다.
• 제한된 라벨링 조건 하에서 정교한 공격 탐지의 학습 효율성과 분류 성능을 향상시킨다.

제안 방법

• 프레임워크는 예측 일致성을 강제하기 위해 감독 브랜치와 비감독 브랜치를 조합한 이중 브랜치 아키텍처를 사용한다.
• 복잡도를 줄이기 위해 복합성 감소 특성을 지닌 잔차 연결 다층퍼셉트론(ResBMLP)을 인코더로 사용하여 강건한 특징을 추출한다.
• 순환 프로토타입 모듈(RPM)은 가짜 라벨이 부여된 비라벨 데이터로부터 프로토타입을 반복적으로 갱신함으로써 반복적 자기지도 학습을 가능하게 한다.
• 웨이트-태스크 일치성(WTC)은 학습 중에 부족한 클래스에 대해 더 높은 손실 가중치를 동적으로 할당하여 장꼬리 불균형 문제를 완화한다.
• 능동적 적응 리샘플링(AAR)은 클래스 분포를 가장 잘 대표하는 핵심 샘플을 선택하여 기존의 결정 경계 기반 샘플링 방식을 초월한 일반화 능력을 향상시킨다.
• 프레임워크는 모듈식 설계로 되어 있어 다양한 감독 모델과 통합 가능하며, 즉시 적용이 가능한 플러그 앤 플레이 배포를 지원한다.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터 조건 하에서 세미-서프로비즈드 프레임워크가 정교한 공격 분류 정확도를 효과적으로 향상시킬 수 있는가?
• RQ2 광범위한 재가중 또는 데이터 증강이 필요 없이 공격 데이터셋의 클래스 불균형 문제를 어떻게 완화할 수 있는가?
• RQ3 분포 대표성 기반의 능동적 샘플 선택이 침입 탐지 분야에서 기존 능동 학습 방식을 능가할 수 있는가?
• RQ4 실세계 적용 환경에서 예측 불가능한 공격과 악성 예측에 대해 프레임워크가 얼마나 강건한가?
• RQ5 WTC와 RPM의 통합이 학습 효율성 향상과 모델 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• Semi-WTC는 AndMal 2020 데이터셋에서 94.06%의 분류 정확도를 달성하여 이전 SOTA 방법(FARE-semisup)보다 2.93%p 높다.
• Semi-WTC는 FARE-semisup 대비 학습 시간을 90% 감소시켜 뿐만 아니라 단지 146초의 학습 시간을 기록했다.
• Semi-WTC는 매크로-F1 스코어를 93.72%까지 향상시켜 소수 공격 유형에 대한 강력한 성능을 입증했다.
• 자기지도 학습 및 일치 기반 학습 덕분에 프레임워크는 오염 공격과 악성 예측에 대해 강건성을 보였다.
• 능동적 적응 리샘플링(AAR) 방법은 대표성 있는 샘플을 성공적으로 식별하여 기존 능동 학습을 뛰어넘는 모델 일반화 능력을 향상시켰다.
• Semi-WTC는 AndMal 2020 데이터셋에서 K-Means 대비 24%의 정확도 향상을, MixMatch 대비 3%의 성능 향상을 달성했다.