[論文レビュー] ADBench: Anomaly Detection Benchmark

Songqiao Han, Xiyang Hu+3 more|arXiv (Cornell University)|Jun 19, 2022

Anomaly Detection Techniques and Applications被引用数 15

ひとこと要約

ADBenchは、30種類の異常検出アルゴリズムを57のデータセットに対して、さまざまな監視レベル、異常タイプ、データの破損状況の下で評価する包括的な異常検出ベンチマークである。このベンチマークは、1%のラベル付き異常を持つ半教師あり手法が、最も優れた教師なし手法を上回ること、およびアルゴリズムの選択がデータ特性と事前知識に強く依存することを明らかにした。

ABSTRACT

Given a long list of anomaly detection algorithms developed in the last few decades, how do they perform with regard to (i) varying levels of supervision, (ii) different types of anomalies, and (iii) noisy and corrupted data? In this work, we answer these key questions by conducting (to our best knowledge) the most comprehensive anomaly detection benchmark with 30 algorithms on 57 benchmark datasets, named ADBench. Our extensive experiments (98,436 in total) identify meaningful insights into the role of supervision and anomaly types, and unlock future directions for researchers in algorithm selection and design. With ADBench, researchers can easily conduct comprehensive and fair evaluations for newly proposed methods on the datasets (including our contributed ones from natural language and computer vision domains) against the existing baselines. To foster accessibility and reproducibility, we fully open-source ADBench and the corresponding results.

研究の動機と目的

• 異常検出の分野において、多様な監視レベル、異常タイプ、データ破損シナリオをカバーする包括的で公平かつ再現可能な評価ベンチマークの不足を解消すること。
• 研究者が新しい異常検出手法を確立されたベースラインと公平に比較できる統一的でアクセスしやすく、オープンソースのプラットフォームを提供すること。
• 監視の有無、異常タイプ、データ破損に対する耐性といった要因に基づいて、アルゴリズムのパフォーマンスに関する重要な知見を同定すること。
• ベンチマークと結果をBSD-2ライセンスの下で完全にオープンソース化することで、異常検出研究における再現可能性とアクセス可能性を促進すること。
• 監視の有無、異常特性、データ品質がモデルパフォーマンスに与える影響を実証的に分析することで、今後のアルゴリズム設計を支援すること。

提案手法

• ベンチマークは、14種類の教師なし、7種類の半教師あり、9種類の教師ありの合計30種類の異常検出アルゴリズムを、47の公開データセットとNLP・コンピュータビジョン分野から新たに提供された10のデータセットを含む57のデータセットに対して評価している。
• 実験は3つの主要な評価視点から実施されている：(1) 監視レベルの変動（教師なし、半教師あり、教師あり）、(2) 4種類のシミュレートされた異常（局所的、グローバル、敵対的、コンセプトドリフト）、(3) 3つのデータ破損設定（ノイズのあるラベル、不要な特徴、損傷を受けていない特徴）。
• パフォーマンスはAUC-ROCなどの標準指標で測定され、信頼性の高い比較を確保するため、非パラメトリック検定を用いて統計的有意性を検証している。
• 公平性と再現可能性を確保するため、標準化されたパイプラインを採用しており、一貫したデータ分割、ハイパーパramータチューニング、評価プロトコルが実施されている。
• 結果は体系的に集約され、可視化されており、各データセットとアルゴリズムごとにモデルランクが報告されており、異なる手法間の直接比較が可能である。
• ベンチマーク全体（コード、データセット、結果）は、GitHub上でBSD-2ライセンスの下で公開されており、コミュニティによる利用と拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 異常検出アルゴリズムは、さまざまな監視レベル（教師なし、半教師あり、教師あり）においてどのように性能を発揮するか。また、わずかなラベル付けの影響は何か。
• RQ2 異常タイプ（例：局所的 vs グローバル）は、さまざまな検出アルゴリズムのパフォーマンスにどのように影響を与えるか。
• RQ3 異常検出アルゴリズムは、ノイズのあるラベルや不要な特徴といったデータ破損に対してどれほど耐性があるか。特に安定性が顕著な手法は何か。
• RQ4 特定のアルゴリズムファミリーが、制御された条件下で一貫して他の手法を上回る傾向があるか。どのようなデータ特性の下でそのような性能を発揮するか。
• RQ5 現実世界のノイズの多い環境において、半教師あり手法は完全に教師ありまたは教師なし手法よりも優れた耐性とパフォーマンスを達成できるか。

主な発見

• 評価された14種類の教師なし異常検出アルゴリズムのうち、いずれの手法も他の手法に統計的に有意な優位性を示さなかった。これは、データの文脈に基づいたアルゴリズム選択の重要性を強調している。
• 1%のラベル付き異常のみを用いても、大多数の半教師あり手法が最も優れた教師なし手法を上回った。これは、わずかな監視情報が検出性能の向上に著しく寄与することを示している。
• 制御された環境下では、特定の異常タイプ（例：局所的異常）に最適化された教師なし手法が、半教師ありおよび教師あり手法を上回った。これは、アルゴリズム選択がデータ特性と異常パターンと一致する必要があることを示している。
• 半教師あり手法は、ラベルの効率的利用と特徴選択能力のおかげで、データ破損に対して高い耐性を示した。これは、実世界への展開に向けた潜在的利点を示唆している。
• ベンチマークの結果から、パフォーマンスはデータセットや異常タイプによって顕著に異なることが判明し、あらゆる状況で優位なパフォーマンスを発揮する唯一のアルゴリズムは存在しないことがわかった。
• オープンソース化されたADBenchフレームワークにより、多様なデータタイプと条件下で、幅広いベースラインと公平に、再現可能かつ包括的に新しい異常検出手法の評価が可能になった。