[論文レビュー] Active Anomaly Detection via Ensembles

Shubhomoy Das, Rakibul Islam+2 more|arXiv (Cornell University)|Sep 17, 2018

Anomaly Detection Techniques and Applications参考文献 29被引用数 12

ひとこと要約

本論文は、アンサンブルモデルを用いたラベル効率の良いアクティブラーニングを活用する、バッチおよびストリーミング設定の両方で異常検出を向上させるアクティブ異常検出フレームワークを提案する。アンサンブルスコアにおける固有の不確実性を活用し、コンパクトな異常記述と適応的ドリフト検出を導入することで、高い異常発見率と最先端の非教師ありベースラインと同等の性能を達成しており、コンセプトドリフトを伴うストリーミングデータでも有効である。

ABSTRACT

In critical applications of anomaly detection including computer security and fraud prevention, the anomaly detector must be configurable by the analyst to minimize the effort on false positives. One important way to configure the anomaly detector is by providing true labels for a few instances. We study the problem of label-efficient active learning to automatically tune anomaly detection ensembles and make four main contributions. First, we present an important insight into how anomaly detector ensembles are naturally suited for active learning. This insight allows us to relate the greedy querying strategy to uncertainty sampling, with implications for label-efficiency. Second, we present a novel formalism called compact description to describe the discovered anomalies and show that it can also be employed to improve the diversity of the instances presented to the analyst without loss in the anomaly discovery rate. Third, we present a novel data drift detection algorithm that not only detects the drift robustly, but also allows us to take corrective actions to adapt the detector in a principled manner. Fourth, we present extensive experiments to evaluate our insights and algorithms in both batch and streaming settings. Our results show that in addition to discovering significantly more anomalies than state-of-the-art unsupervised baselines, our active learning algorithms under the streaming-data setup are competitive with the batch setup.

研究の動機と目的

• 非教師あり異常検出における高い誤検出率の課題に対処するため、アクティブラーニングを活用して人間によるフィードバックを組み込む。
• 検出性能を損なわずにアナリストに提示される異常の多様性を向上させる。
• ストリーミング異常検出におけるデータドリフトの検出と適応のため、堅牢で原理的根拠のある手法を開発する。
• アクティブラーニングを用いたアンサンブルモデルが、ストリーミング環境においてバッチ学習と同等の性能を達成できることを示す。

提案手法

• 木ベースの異常検出器のアンサンブルを用いてインスタンススコアを計算し、アンサンブルスコア行列 ${f H}$ を用いて高スコア（おそらく異常な）インスタンスを特定する。
• グリーディなアクティブラーニング戦略を採用し、アンサンブルスコアが最も高いインスタンスのラベルを問い合わせる。この戦略は、アンサンブルに内在する不確実性に着目しており、こうしたインスタンスが最も情報量が多いという洞察に基づく。
• 発見された異常のグループを要約するコンパクトな記述形式を導入し、検出率を維持したまま多様なクエリ選択を可能にする。
• Kullback-Leibler（KL）ダイバージェンスに基づく新規なデータドリフト検出アルゴリズムを提案し、アンサンブル内の陳腐化したツリーを特定し、適応的交換をトリガーする。
• スライディングウインドウを維持するストリーミングアクティブラーニングフレームワーク（SAL）を実装し、KLダイバージェンスに基づいてツリーを動的に交換し、アナリストのフィードバックを用いてモデル重みを更新する。
• アクティブラーニングにおける分散の低減と収束の向上を目的として、一様重み初期化（${f w}_{ ext{unif}}$）を信頼できる事前分布として採用する。

実験結果

リサーチクエスチョン

• RQ1 異常検出におけるラベル効率の良いアクティブラーニングを、異常検出器アンサンブルを体系的かつ効果的に活用することで実現するにはどうすればよいか？
• RQ2 コンパクトな異常記述は、異常発見性能を低下させることなく、クエリの多様性を向上させることができるか？
• RQ3 ストリーミング設定におけるデータドリフトを、堅牢に検出し、原理的根拠に基づいたモデル適応を促すにはどうすればよいか？
• RQ4 フィードバックを組み込んだストリーミングアクティブラーニングは、実世界の異常検出において、バッチアクティブラーニングの性能にどの程度近づけるか？

主な発見

• 提案されたアクティブラーニングアルゴリズム（BAL）は、最先端の非教師ありベースラインを著しく上回り、特に一様事前分布で初期化された場合に顕著な優位性を示す。
• SAL（KL Adaptive）ストリーミングアルゴリズムは、バッチアクティブラーニングと同等の性能を達成しており、リアルタイムでフィードバック駆動の異常検出の実現可能性を示している。
• コンパクトな異常記述の使用により、検出率をグリーディなクエリ戦略と同等に維持したまま、多様なクエリ選択が可能になった。
• KLダイバージェンスに基づく適応的ツリー交換戦略は、コンセプトドリフトを効果的に検出し、モデルのロバスト性を向上させる。Covtypeのようなドリフトが存在するデータセットでその有効性が示された。
• ドリフトが存在しない環境（例：ANN-Thyroid-1v3）では、古いツリーを長期間保持する傾向を示し、安定した性能を維持している一方、高ドリフト環境では頻繁な交換が発生する。
• 本手法は一般化性能に優れている：フィードバックでチューニングされた検出器は未観測データでも優れた性能を発揮し、SAL（KL Adaptive）はストリーミング設定において、非教師ありベースラインおよび固定ツリーの代替手法を一貫して上回っている。