[論文レビュー] ADGym: Design Choices for Deep Anomaly Detection

Minqi Jiang, Chaochuan Hou+6 more|arXiv (Cornell University)|Sep 27, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

ADGym は、深層弱教師あり異常検出（WSAD）における設計選択の体系的評価と自動選定を可能にするプラットフォームであり、データセットごとに最適なモデル設定を実現する。Meta-learning を活用して、特定のデータ分布に適合したハイパーパramータ、アーキテクチャ、前処理戦略を選択することで、多様なベンチマークおよび実世界のノイズ環境下で AUCROC および AUCPR に顕著な向上を達成し、最先端手法を上回る性能を発揮する。

ABSTRACT

Deep learning (DL) techniques have recently found success in anomaly detection (AD) across various fields such as finance, medical services, and cloud computing. However, most of the current research tends to view deep AD algorithms as a whole, without dissecting the contributions of individual design choices like loss functions and network architectures. This view tends to diminish the value of preliminary steps like data preprocessing, as more attention is given to newly designed loss functions, network architectures, and learning paradigms. In this paper, we aim to bridge this gap by asking two key questions: (i) Which design choices in deep AD methods are crucial for detecting anomalies? (ii) How can we automatically select the optimal design choices for a given AD dataset, instead of relying on generic, pre-existing solutions? To address these questions, we introduce ADGym, a platform specifically crafted for comprehensive evaluation and automatic selection of AD design elements in deep methods. Our extensive experiments reveal that relying solely on existing leading methods is not sufficient. In contrast, models developed using ADGym significantly surpass current state-of-the-art techniques.

研究の動機と目的

• 損失関数、ネットワークアーキテクチャ、データ前処理技術などの個々の設計選択が、深層異常検出の性能にどの程度影響を与えるかを特定すること。
• 従来の深層 AD メソッドでは、モデルをモノリシックなユニットとして扱うため、部品間の相互作用に対する体系的評価が不足している問題に対処すること。
• 与えられたデータセットに対して最適な設計選択の組み合わせを自動的に選択する、メタラーニングに基づくフレームワークの開発を目的とすること。これにより、事前に定義されたモデルリストにとどまらないアプローチを実現する。
• 重複する異常、不要な特徴、ラベルノイズなどの実世界のデータ問題に対する設計選択のロバストネスを評価すること。
• どの設計選択も普遍的に優れているわけではないことの裏付けを示し、データセット固有の最適化の必要性を正当化すること。

提案手法

• ADGym は、データ処理、ネットワーク構築、ネットワーク学習、前処理技術の5つの次元にわたる設計選択の包括的な検索空間を構築する。
• 歴史的なベンチマークデータセットでのパフォーマンス履歴に基づき、新しいデータセットに対して最適な設計選択の組み合わせを予測するメタラーニングアプローチを採用する。
• 大規模な WSAD ベンチマーク（実世界およびノイズありデータ設定を含む）を用い、標準化された指標（AUCROC、AUCPR）ですべての組み合わせを評価する。
• 2段階のパイプラインを採用する：まず、メタ予測器が過去のデータセット-設計選択-パフォーマンスのマッピングから学習する。次に、新しいデータセットに対して最適な設定を選択する。
• 実験では、重複する異常、不要な特徴、ラベルノイズの3つの実世界のノイズ条件下での制御された評価を実施し、AUCROC および AUCPR でパフォーマンスを測定する。
• エンドツーエンドおよび2段階の学習パラダイムの両方をサポートしており、学習戦略間の比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層異常検出におけるどの個々の設計選択がモデル性能に最も顕著な影響を与えるか？
• RQ2 異なる設計選択どうしがどのように相互作用し、異常検出性能にどの程度寄与するか？
• RQ3 メタラーニングフレームワークは、新しいデータセットに対して最適な設計選択の組み合わせを自動で選択可能であり、既存の最先端手法を上回る性能を発揮できるか？
• RQ4 ラベルノイズ、不要な特徴、重複する異常などの実世界のデータ問題に対して、さまざまな設計選択はどの程度ロバストか？
• RQ5 すべてのデータセットに共通して最適な設定が存在するのか、それともデータセット固有の最適化が不可欠なのか？

主な発見

• 最適な設計選択の組み合わせはデータセットごとに顕著に異なるが、普遍的に優れた設定は存在しない。
• ADGym が自動で選択したモデルは、常に既存の最先端手法を上回り、20個の異常サンプルを含むベンチマークデータセットで最高 0.685 の AUCROC および 0.659 の AUCPR を達成した。
• ResNet アーキテクチャは、すべてのノイズ条件で優れた安定性を示し、特に重複する異常条件下では性能が向上し、分散が増加する傾向を示した。
• 不要な特徴とラベルノイズは、大多数の設計選択において性能を著しく低下させ、結果の分散が最小限に抑えられる傾向にあり、この条件下でモデル性能が収束していることを示唆している。
• 重複する異常は、すべての設計選択においてパフォーマンスの向上をもたらし、実世界のシナリオにおけるデータ不均衡の緩和に寄与する可能性がある。
• メタ予測器アプローチにより、一貫した高パフォーマンスの設定選択が可能となり、ADGym のエンドツーエンドおよび2段階パイプラインは、すべてのテスト設定で AUCROC および AUCPR の最高相対順位を達成した。