[논문 리뷰] An Efficient One-Class SVM for Anomaly Detection in the Internet of Things

Kun Yang, Samory Kpotufe외 1명|arXiv (Cornell University)|2021. 04. 22.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 37

한 줄 요약

본 논문은 Nyström 및 Kernel Johnson-Lindenstrauss (KJL) 스케치를 이용한 One-Class SVM을 IoT 이상 탐지에 확장하여, 탐지 속도를 14–40배 증가시키고 메모리 절감을 20배 달성하는 한편, OCSVM과 비교 가능한 AUC를 유지한다.

ABSTRACT

Insecure Internet of things (IoT) devices pose significant threats to critical infrastructure and the Internet at large; detecting anomalous behavior from these devices remains of critical importance, but fast, efficient, accurate anomaly detection (also called "novelty detection") for these classes of devices remains elusive. One-Class Support Vector Machines (OCSVM) are one of the state-of-the-art approaches for novelty detection (or anomaly detection) in machine learning, due to their flexibility in fitting complex nonlinear boundaries between {normal} and {novel} data. IoT devices in smart homes and cities and connected building infrastructure present a compelling use case for novelty detection with OCSVM due to the variety of devices, traffic patterns, and types of anomalies that can manifest in such environments. Much previous research has thus applied OCSVM to novelty detection for IoT. Unfortunately, conventional OCSVMs introduce significant memory requirements and are computationally expensive at prediction time as the size of the train set grows, requiring space and time that scales with the number of training points. These memory and computational constraints can be prohibitive in practical, real-world deployments, where large training sets are typically needed to develop accurate models when fitting complex decision boundaries. In this work, we extend so-called Nyström and (Gaussian) Sketching approaches to OCSVM, by combining these methods with clustering and Gaussian mixture models to achieve significant speedups in prediction time and space in various IoT settings, without sacrificing detection accuracy.

연구 동기 및 목표

• 이종 IoT 디바이스와 트래픽 패턴에 대해 빠르고 메모리 효율적인 신류 탐지를 동기화한다.
• IoT 배치에서 전통적 OCSVM의 예측 시간 및 공간 병목 현상을 해결한다.
• Nyström 및 KJL을 활용한 확장 가능한 OCSVM 변형을 개발하여 클러스터 구조를 보존하며 효과적인 신류 탐지를 가능하게 한다.
• 차원 축소 임베딩에서 밀도 기반 신류 탐지를 위한 Gaussian Mixture Models를 통합한다.
• 라벨링되지 않은 IoT 데이터에 적합한 자동 또는 데이터 기반 하이퍼파라미터 전략을 제공한다.

제안 방법

• Nyström 또는 Kernel Johnson-Lindenstrauss (KJL)을 사용하여 정상 훈련 데이터를 Rd의 더 낮은 차원으로 임베딩한다.
• 임베딩된 정상 데이터를 Gaussian Mixture Model로 모델링하여 밀도가 낮은 영역으로 신류를 탐지한다.
• 핵심(또는 휴리스틱)에 의해 QuickShift++와 같은 밀도-모드 추정기를 사용해 GMM 구성요소 수 k를 자동으로 결정한다.
• 임베딩된 테스트 포인트 φ′(x)에서 평가된 GMM 밀도에 기반한 탐지 규칙을 유지한다.
• 하이퍼파라미터 선택을 위한 라벨링된 신류 검증 데이터가 있는 경우와 없는 두 가지 실제 학습 시나리오를 제공한다.

실험 결과

연구 질문

• RQ1 Nyström 또는 KJL 기반의 OCSVM 임베딩이 예측 시 시간과 메모리 절감을 달성하면서 탐지 성능을 유지할 수 있는가?
• RQ2 임베딩된 정상 데이터에 GMM을 피팅하는 것이 IoT 트래픽에서 효과적인 신류 탐지를 가능하게 하는가?
• RQ3 Gaussian 구성요소의 수(k)를 자동으로 선택하는 것이 실무에서 탐지 정확도와 강건성에 어떤 영향을 미치는가?
• RQ4 IoT 데이터셋에서 기본 OCSVM 대비 탐지 시간과 공간 측면에서의 비교 이점은 무엇인가?
• RQ5 OC-Nyström 및 OC-KJL은 보정된 하이퍼파라미터와 경험적 규칙(rule-of-thumb) 선택 간에 어떻게 성능이 달라지는가?

주요 결과

• OC-Nyström 및 OC-KJL로 탐지 시간은 14–20배, 일부 데이터셋에서 최대 40배의 이득을 얻는다.
• OCSVM에 비해 공간 복잡도가 20배 이상 감소한다.
• 적절히 보정된 하이퍼파라미터를 가정하면 OC-Nyström 및 OC-KJL이 기준 OCSVM과 유사한 AUC를 달성한다.
• 비정형적이거나 규칙 기반 하이퍼파라미터 하에서도 OC-Nyström 및 OC-KJL은 대부분의 데이터셋에서 OCSVM의 AUC의 최소 0.85를 달성하고 여러 경우 AUC를 개선할 수 있다.
• KJL 및 Nyström 임베딩은 클러스터 구조를 보존하여 임베딩된 데이터에서 GMM을 통한 밀도 기반 신류 탐지를 효과적으로 가능하게 한다.
• 일반적으로 IoT 정상 트래픽을 모델링하는 데 필요한 클러스터 수(k)가 1에서 20 사이의 소수에 불과하여 효율성을 향상시킨다.