[論文レビュー] An Efficient One-Class SVM for Anomaly Detection in the Internet of Things

Kun Yang, Samory Kpotufe+1 more|arXiv (Cornell University)|Apr 22, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用数 37

ひとこと要約

この論文は Nyström および Kernel Johnson-Lindenstrauss (KJL) スケッチを用いた One-Class SVM を IoT 異常検知に拡張し、検知を14–40倍高速化し、メモリを20倍削減しつつ OCSVM と同等の AUC を維持する。

ABSTRACT

Insecure Internet of things (IoT) devices pose significant threats to critical infrastructure and the Internet at large; detecting anomalous behavior from these devices remains of critical importance, but fast, efficient, accurate anomaly detection (also called "novelty detection") for these classes of devices remains elusive. One-Class Support Vector Machines (OCSVM) are one of the state-of-the-art approaches for novelty detection (or anomaly detection) in machine learning, due to their flexibility in fitting complex nonlinear boundaries between {normal} and {novel} data. IoT devices in smart homes and cities and connected building infrastructure present a compelling use case for novelty detection with OCSVM due to the variety of devices, traffic patterns, and types of anomalies that can manifest in such environments. Much previous research has thus applied OCSVM to novelty detection for IoT. Unfortunately, conventional OCSVMs introduce significant memory requirements and are computationally expensive at prediction time as the size of the train set grows, requiring space and time that scales with the number of training points. These memory and computational constraints can be prohibitive in practical, real-world deployments, where large training sets are typically needed to develop accurate models when fitting complex decision boundaries. In this work, we extend so-called Nyström and (Gaussian) Sketching approaches to OCSVM, by combining these methods with clustering and Gaussian mixture models to achieve significant speedups in prediction time and space in various IoT settings, without sacrificing detection accuracy.

研究の動機と目的

• 異種の IoT デバイスとトラフィックパターンに対する高速でメモリ効率の良い novelty 検出を動機付ける。
• IoT展開における従来の OCSVM の予測時および空間のボトルネックに対処する。
• Nyström および KJL を用いてクラスタ構造を保持しつつ効果的な novelty 検出を実現する、スケーラブルな OCSVM の派生を開発する。
• 低次元埋め込みにおける密度を通じて novelty を検出するために Gaussian Mixture Models を統合する。
• ラベルなし IoT データに適した自動またはデータ駆動のハイパーパラメータ戦略を提供する。

提案手法

• Nyström または Kernel Johnson-Lindenstrauss (KJL) を用いて、正常なトレーニングデータを Rd の低次元空間に埋め込む。
• 埋め込まれた正常データを Gaussian Mixture Model でモデリングし、低密度領域として novelty を検出する。
• 自動的に（あるいはヒューリスティックに）QuickShift++ のような密度モード推定器を用いて GMM の成分数 k を決定する。
• 埋め込まれたテスト点 φ′(x) で評価された GMM 密度に基づく検出ルールを維持する。
• ハイパーパラメータ選択のためのラベル付き novelty 検証データの有無にかかわらず、2つの実用的なトレーニングシナリオを提供する。

実験結果

リサーチクエスチョン

• RQ1 Nyström または KJL ベースの OCSVM 埋め込みは、予測時の時間とメモリを削減しつつ検知性能を保持できるか？
• RQ2 埋め込まれた正常データに対して GMM を適合させると、IoT トラフィックにおける novelty 検出が効果的になるか？
• RQ3 ガウス成分の数 k の自動選択は、実務上の検出精度と頑健性にどのような影響を与えるか？
• RQ4 IoT データセット上で、基準 OCSVM に対する検出時間と空間の比較的利得はどの程度か？
• RQ5 OC-Nyström と OC-KJL は、校正済みと経験則ベースのハイパーパラメータ選択の下でどのように性能を示すか？

主な発見

• OC-Nyström および OC-KJL で検出時間が14–20x、場合によっては最大 40x の利得。
• OCSVM と比較して空間計算量を20x以上削減。
• 適切にキャリブレーションされたハイパーパラメータで、OC-Nyström および OC-KJL は基準の OCSVM と同等の AUC を達成。
• あまり理想的でないヒューリスティックなハイパーパラメータでは、OC-Nyström および OC-KJL はほとんどのデータセットで OCSVM の AUC の少なくとも 0.85 を達成し、多くの場合 AUC を改善することもある。
• KJL および Nyström の埋め込みはクラスタ構造を保持し、埋め込みデータ上の GMM による密度ベースの novelty 検出を効果的に可能にする。
• 通常、IoT の正常トラフィックをモデル化するには1〜20程度のクラスタ（k）で十分であり、効率性を支援する。