[論文レビュー] Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure

John W. Sipple|arXiv (Cornell University)|Jul 12, 2020

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

本稿では、ランダムフォレストまたはニューラルネットワーク分類器を用いた負例サンプリングを活用し、リアルタイムで多次元・多モードの異常を検出するスケーラブルで教師なしのIoTデバイス用異常検知手法を提案する。最高水準のAUC性能を達成するとともに、Integrated Gradientsを用いた解釈可能な異常要因特定を可能とし、カリフォルニア州のベイエリアで145棟のオフィスビルにまたがる15,000台以上のデバイスに実際に導入された。

ABSTRACT

Complex devices are connected daily and eagerly generate vast streams of multidimensional state measurements. These devices often operate in distinct modes based on external conditions (day/night, occupied/vacant, etc.), and to prevent complete or partial system outage, we would like to recognize as early as possible when these devices begin to operate outside the normal modes. Unfortunately, it is often impractical or impossible to predict failures using rules or supervised machine learning, because failure modes are too complex, devices are too new to adequately characterize in a specific environment, or environmental change puts the device into an unpredictable condition. We propose an unsupervised anomaly detection method that creates a negative sample from the positive, observed sample, and trains a classifier to distinguish between positive and negative samples. Using the Contraction Principle, we explain why such a classifier ought to establish suitable decision boundaries between normal and anomalous regions, and show how Integrated Gradients can attribute the anomaly to specific variables within the anomalous state vector. We have demonstrated that negative sampling with random forest or neural network classifiers yield significantly higher AUC scores than Isolation Forest, One Class SVM, and Deep SVDD, against (a) a synthetic dataset with dimensionality ranging between 2 and 128, with 1, 2, and 3 modes, and with and without noise dimensions; (b) four standard benchmark datasets; and (c) a multidimensional, multimodal dataset from real climate control devices. Finally, we describe how negative sampling with neural network classifiers have been successfully deployed at large scale to predict failures in real time in over 15,000 climate-control and power meter devices in 145 Google office buildings.

研究の動機と目的

• 気候制御装置や電力メーターなどの複雑なデバイスから得られる高次元・多モードのIoTテレメトリにおいて、微細で多次元的な異常を検出する課題に対処すること。
• 故障ラベルデータの不足や、占有人数モードとエコモードなどの動的運用モードの存在により、従来のワンクラスまたは教師あり手法に限界があることへの対処。
• 手動での再設定が不要なスケーラブルでゼロ設定の異常検知システムを構築し、季節的・環境的変化に適応可能とする。
• Integrated Gradientsを用いて、異常スコアを個々の特徴次元に割り当てることで、診断の解釈可能性を向上させる。
• スマートビルの実環境で大規模に展開し、誤報を低減するとともに、システム障害の前触れとなるデバイス障害を事前に検出する。

提案手法

• 観測された正常データポイントをランダムノイズや補間で摂動させることで、合成された異常例（負例）を生成し、学習用に使用する。
• 実際の正常サンプルと合成された負例を区別する二値分類器（ランダムフォレストまたはニューラルネットワーク）を訓練する。
• 濃縮現象（Concentration Phenomenon）を活用し、高次元空間における正常領域と異常領域の間の有効な意思決定境界が学習されることを正当化する。
• IntegratedGradientsを適用し、異常状態ベクトル内の個々の次元に割り当てられた寄与度を計算することで、解釈可能性を実現する。
• 履歴データにスライディングウィンドウを適用し、定期的にモデルを再訓練することで、季節的・環境的変化への適応を可能にする。
• デバイスの種別と動作行動に基づいて同質なグループにクラスタリングし、各グループに独立した異常検知インスタンスを割り当てることで、スケーラブルな展開を実現する。

実験結果

リサーチクエスチョン

• RQ1 二値分類器を用いた負例サンプリングは、多次元・多モードのIoTデータセットにおいて、最先端のワンクラス異常検知手法を上回る性能を示せるか？
• RQ2 高次元特徴空間における異常検知器の意思決定境界学習を正当化するために、濃縮現象はどの程度有効か？
• RQ3 Integrated Gradientsは、特定のセンサーデータ次元への責任の割り当てを通じて、意味的かつ実行可能な異常解釈を提供できるか？
• RQ4 本手法は、多様で変化し続けるデバイス種別と運用モードを有する実環境で大規模に展開可能か？
• RQ5 本手法は、ルールベースまたは教師あり故障検知手法と比較して、実際のスマートビル展開において誤報率を低減できるか？

主な発見

• ランダムフォレストまたはニューラルネットワーク分類器を用いた負例サンプリングは、5つの標準ベンチマークデータセットのうち4つにおいて、Isolation Forest、One-Class SVM、Deep SVDD、Extended Isolation Forestと同等またはより高いAUCスコアを達成した。
• 気候制御装置から得た実世界の多次元・多モードデータセットにおいて、本手法は最先端のアプローチを上回る異常検知性能を示した。
• NS-NN（負例サンプリング＋ニューラルネットワーク）モデルは、カリフォルニア州のベイエリアにまたがる145棟のオフィスビルで、15,000台以上のデバイスを監視する形で大規模に展開された。
• 検出されたデバイスレベルの異常の44％以上が技術者によるサポート要請を伴い、システムの実用的意義と実行可能なインサイトを示した。
• Integrated Gradientsにより、異常を特定のセンサーデータ次元（例：閉じ込められたダンパー、故障寸前のセンサー）に帰属づけることができ、診断支援に有効であった。
• 新規デバイスの手動設定が不要であり、履歴データのスライディングウィンドウを用いた定期的な再訓練により、季節的変化に適応した。