[論文レビュー] Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning

Shubhomoy Das, Md. Rakibul Islam+2 more|arXiv (Cornell University)|Jan 23, 2019

Anomaly Detection Techniques and Applications参考文献 44被引用数 14

ひとこと要約

本稿では、バッチおよびストリーミング環境における効果的な異常検出のため、アクティブラーニングを組み合わせた木構造アンサンブル手法を提案する。コンパクト記述形式とGLocalized Anomaly Detection (GLAD)を導入することで、異常の多様性、解釈可能性、ラベル効率を向上させる。アクティブラーニングを用いたアンサンブル手法が、非教師ありベースラインを著しく上回り、ストリーミング環境でも競争力のある性能を示すことが実証された。

ABSTRACT

In many real-world AD applications including computer security and fraud prevention, the anomaly detector must be configurable by the human analyst to minimize the effort on false positives. One important way to configure the detector is by providing true labels (nominal or anomaly) for a few instances. Recent work on active anomaly discovery has shown that greedily querying the top-scoring instance and tuning the weights of ensemble detectors based on label feedback allows us to quickly discover true anomalies. This paper makes four main contributions to improve the state-of-the-art in anomaly discovery using tree-based ensembles. First, we provide an important insight that explains the practical successes of unsupervised tree-based ensembles and active learning based on greedy query selection strategy. We also present empirical results on real-world data to support our insights and theoretical analysis to support active learning. Second, we develop a novel batch active learning algorithm to improve the diversity of discovered anomalies based on a formalism called compact description to describe the discovered anomalies. Third, we develop a novel active learning algorithm to handle streaming data setting. We present a data drift detection algorithm that not only detects the drift robustly, but also allows us to take corrective actions to adapt the anomaly detector in a principled manner. Fourth, we present extensive experiments to evaluate our insights and our tree-based active anomaly discovery algorithms in both batch and streaming data settings. Our results show that active learning allows us to discover significantly more anomalies than state-of-the-art unsupervised baselines, our batch active learning algorithm discovers diverse anomalies, and our algorithms under the streaming-data setup are competitive with the batch setup.

研究の動機と目的

• 人間によるフィードバックを組み込んだアクティブラーニングを木構造アンサンブルで実現することで、異常検出における誤検出の負担を軽減すること。
• 人間のラベル作業を最小限に抑えつつ、真の異常を最大限に発見できる、整合的なアクティブラーニングフレームワークの構築。
• コンパクト記述やルールベースの説明といった新規形式を用いて、発見された異常の解釈可能性と多様性を向上させること。
• 新しいデータドリフト検出と補正メカニズムを用いて、ストリーミングデータ環境への柔軟かつ堅牢な適合を可能にすること。
• アンサンブル平均化とグリーディなクエリ選択が異常検出において有効である理由についての理論的洞察を提供すること。

提案手法

• 木構造アンサンブルから導出された論理的ルールを用いて異常を表現するコンパクト記述（CD）形式を導入し、解釈可能性と多様性を向上させる。
• ラベルフィードバックを用いてアンサンブルメンバーの特定のインスタンスに対する局所的関連性を学習するGLocalized Anomaly Detection (GLAD)を提案し、グローバルモデルの単純性を保持する。
• ストリーミングデータにおけるコンセプトドリフトを特定し、原理的かつ適応的にモデル更新をトリガーする新しいデータドリフト検出アルゴリズムを採用する。
• 異常スコアがτ分位数よりも高くなるように学習するためのAAD（Anomaly-Aware Distillation）損失を用い、スコアリング性能を向上させる。
• アンサンブルの挙動に関する理論的洞察を裏付けに、不確実性サンプリングに類似したクエリ戦略を適用し、最大の異常スコアを持つインスタンスを選択してラベル付けを実施する。
• 訓練済みモデルからベイジアンルールセットを生成し、異常インスタンスに対して要約的かつ人間が読みやすい説明を提供する。

実験結果

リサーチクエスチョン

• RQ1 なぜアンサンブル平均化による異常スコアの集約が、min、max、medianなどの他の集約戦略よりも一貫して優れているのか？
• RQ2 グリーディなクエリ選択がアクティブな異常検出において有効である理論的根拠は何か？
• RQ3 コンパクト記述のような形式的ルール表現を用いることで、木構造アンサンブルをどのようにして異常発見における解釈可能性と多様性を高められるか？
• RQ4 アクティブラーニングを用いた木構造アンサンブルは、コンセプトドリフトを伴うストリーミングデータ環境でも高い性能を維持できるか？
• RQ5 モデルの解釈可能性を損なわず、アンサンブルメンバーの局所的関連性を学習することで、異常検出性能をどのように向上できるか？

主な発見

• 提案されたアクティブラーニングフレームワークは、バッチおよびストリーミング両環境において、最先端の非教師ありベースラインを著しく上回り、真の異常をより多く発見した。
• GLADは、ラベルフィードバックを用いてアンサンブルメンバーの局所的関連性を学習することで、ベースライン手法を上回り、より多くの異常を発見した。
• コンパクト記述形式により、多様で解釈可能なルールセットの生成が可能となり、異常インスタンスを効果的に記述できた。
• データドリフト検出アルゴリズムは、ストリーミングデータにおけるコンセプトドリフトを的確に特定し、原理的かつ適切なモデル適合を可能にした。
• 実験により、ストリーミング環境下でのアクティブラーニングがバッチ環境と同等の性能を達成しており、スケーラビリティと耐障害性を示した。
• Weatherデータセットでは、提案されたBALモデルが、Mammographyにおいてわずかに低い性能を示しても、精度においてフィードバックガイドドオンライン最適化を上回った。