[論文レビュー] A Revealing Large-Scale Evaluation of Unsupervised Anomaly Detection Algorithms

Maxime Alvarez, Jean-Charles Verdier+4 more|arXiv (Cornell University)|Apr 21, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、12種類の手法を5つの表形式データセットで評価する、標準化され再現可能な異常検出アルゴリズムの評価プロトコルを提案する。従来の評価は、データ分割、メトリクス、ハイパーパrameter選択の違いにより一貫性がなく、CSE-CIC-IDS2018などの困難なデータセットでは、より単純なモデル（DAE）がより複雑なモデルを上回ることが判明した。一方、DROCC や DeepSVDD は、データ分布とクラス不均衡の問題により性能が劣る。

ABSTRACT

Anomaly detection has many applications ranging from bank-fraud detection and cyber-threat detection to equipment maintenance and health monitoring. However, choosing a suitable algorithm for a given application remains a challenging design decision, often informed by the literature on anomaly detection algorithms. We extensively reviewed twelve of the most popular unsupervised anomaly detection methods. We observed that, so far, they have been compared using inconsistent protocols - the choice of the class of interest or the positive class, the split of training and test data, and the choice of hyperparameters - leading to ambiguous evaluations. This observation led us to define a coherent evaluation protocol which we then used to produce an updated and more precise picture of the relative performance of the twelve methods on five widely used tabular datasets. While our evaluation cannot pinpoint a method that outperforms all the others on all datasets, it identifies those that stand out and revise misconceived knowledge about their relative performances.

研究の動機と目的

• 従来の非教師あり異常検出研究で用いられる評価プロトコルの不整合を特定・解決すること。
• 12種類の代表的な非教師あり異常検出アルゴリズムを公平に比較できる再現可能なベンチマークを確立すること。
• 一貫したデータ分割、メトリクス、ハイパーパramータチューニングを用いて、これらの手法の相対的な性能を再評価すること。
• 深層学習や再構成ベースのモデルに関する誤解を挑戦すること。
• 統一されたプロトコルを通じて、将来の機械学習評価における透明性と信頼性を高めること。

提案手法

• 正常データのみで訓練し、テストセットにすべての異常データを含めるという一貫した評価プロトコルを提案することで、データ漏洩やバイアスを排除する。
• すべてのモデルに対して最適なF1スコア閾値を標準化し、公平な比較を実現する。
• 主なメトリクスとして正確性、再現率、F1スコア、AUPRを用い、クラス不均衡の影響を考慮し、AUROCよりもAUPRを推奨する。
• すべてのモデルに対して同一のハイパーパramータ探索とランダムシードを適用し、再現性と公平性を確保する。
• 5つの広く使われている表形式データセット（KDDCUP, NSL-KDD, CSE-CIC-IDS2018, Arrhythmia, Thyroid）を評価に用いる。
• 陽性クラスを少数派（異常）クラスに固定することで、性能評価の歪みを回避する。

実験結果

リサーチクエスチョン

• RQ1 従来の研究における不整合な評価プロトコルは、非教師あり異常検出アルゴリズムの報告された性能にどのように影響を与えるか？
• RQ2 多様な表形式データセットにおいて、標準化され公平な評価プロトコルのもとで、どの非教師あり異常検出手法が最も優れているか？
• RQ3 DROCC や DeepSVDD といった複雑なモデルが、CSE-CIC-IDS2018 や実世界の困難なデータセットにおいて、DAE などの単純なベースラインに劣る理由は何か？
• RQ4 AUROC と AUPR は性能評価においてどの程度乖離するか？また、異常検出においてどちらがより情報を提供するか？
• RQ5 一貫した評価プロトコルは、従来の手法のこれまでに気づかれていなかった強みや弱みを明らかにできるか？

主な発見

• シンプルなヴァニラオートエンコーダ（DAE）は、CSE-CIC-IDS2018 データセットで DAGMM や MemAE といったより複雑な再構成ベースのモデルを上回り、F1スコアがより高い結果を示した。
• DROCC は CSE-CIC-IDS2018 で高い再現率（0.996）を達成したが、精度は低く（0.296）なっており、これは高い偽陽性率を示しており、F1スコアのみを報告するとその問題が隠れてしまう。
• AUPR メトリクスでは、CSE-CIC-IDS2018 で AUROC と比較して著しく低下（10%以上）することが判明し、クラス不均衡な状況下で AUROC が楽観的すぎる傾向にあることが浮き彫りになった。
• KDD と NSL-KDD は過度に単純なデータセットであり、ほとんどのモデルが F1スコア 0.90 を超える結果を示しており、モデル性能の差を区別するには不十分であることが判明した。
• 変換ベースの手法である NeuTraLAD は、すべてのデータセットで一貫して平均以上に優れた性能を示し、特に小規模データにおいてデータ拡張の恩恵を大きく受けた。
• DeepSVDD や他のワンクラス分類モデルは、CSE-CIC-IDS2018 で高いクラス内変動と大規模データの影響を受けて性能が劣り、複雑な分布下での一般化能力の限界が示された。