[論文レビュー] Understanding the Effect of Bias in Deep Anomaly Detection

Ziyu Ye, Yuxin Chen+1 more|arXiv (Cornell University)|May 16, 2021

Anomaly Detection Techniques and Applications参考文献 26被引用数 6

ひとこと要約

この論文は、偏ったラベル付き異常データが深層異常検出モデルに与える影響を調査し、相対的スコアバイアスを定量化するための形式的な枠組みを提案する。このバイアスの有限標本推定レートを確立し、実証的に、追加のラベル付き異常データが分布の不一致に応じて性能を向上させることもあれば劣化させることもあることを示し、異常タイプごとの性能の顕著なばらつきを明らかにする。

ABSTRACT

Anomaly detection presents a unique challenge in machine learning, due to the scarcity of labeled anomaly data. Recent work attempts to mitigate such problems by augmenting training of deep anomaly detection models with additional labeled anomaly samples. However, the labeled data often does not align with the target distribution and introduces harmful bias to the trained model. In this paper, we aim to understand the effect of a biased anomaly set on anomaly detection. Concretely, we view anomaly detection as a supervised learning task where the objective is to optimize the recall at a given false positive rate. We formally study the relative scoring bias of an anomaly detector, defined as the difference in performance with respect to a baseline anomaly detector. We establish the first finite sample rates for estimating the relative scoring bias for deep anomaly detection, and empirically validate our theoretical results on both synthetic and real-world datasets. We also provide an extensive empirical study on how a biased training anomaly set affects the anomaly score function and therefore the detection performance on different anomaly classes. Our study demonstrates scenarios in which the biased anomaly set can be useful or problematic, and provides a solid benchmark for future research.

研究の動機と目的

• ラベル付き異常データのバイアスが深層異常検出モデルに与える影響を体系的かつ理解すること。
• ベースライン検出器との性能差として定義される、異常検出における相対的スコアバイアスの概念を形式化すること。
• 深層異常検出における相対的スコアバイアスの推定に対する有限標本レートを導出すること。
• さまざまなモデルとデータセットを対象に、バイアスのあるトレーニングデータが異常スコア関数および検出性能に与える影響を実証的に評価すること。
• ラベル付き異常データの使用におけるリスクと利点を今後の研究のためのベンチマークとして提供すること。

提案手法

• 固定された偽陽性率における再現率を最適化するため、異常検出を教師あり学習のタスクとして形式化すること。
• 訓練済み検出器と参照ベースライン検出器との間の性能差として相対的スコアバイアスを定義すること。
• 統計的学習理論を用いて、相対的スコアバイアスの推定に対する有限標本バウンドを導出すること。
• 合成データおよび3つの実世界データセット（Fashion-MNIST、StatLog (Landsat Satellite)、Cellular Spectrum Misuse）を用いた広範な実証的検証を実施すること。
• ラベル付き異常データにおける分布シフトの程度を模擬するために重み付きミックスチュアリングの設定を用いること。
• 異なるトレーニング体制下で6つの深層異常検出モデルを評価し、異常クラスごとの性能ばらつきを測定すること。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布と一致しないラベル付き異常データの使用が、深層異常検出モデルの性能にどのように影響するか？
• RQ2 深層異常検出における相対的スコアバイアスの推定に対する有限標本レートは何か？
• RQ3 追加のラベル付き異常データが性能を向上させるか劣化させるかの状況はどのようなものか？
• RQ4 純粋な正常データと比較して、バイアスのある異常データで訓練された場合、異常スコア関数はどのように変化するか？
• RQ5 バイアスのあるラベル付きデータを使用する場合、異なる異常クラス間での性能のトレードオフは何か？

主な発見

• ターゲット分布と一致しないラベル付き異常データの使用は、顕著な相対的スコアバイアスを引き起こし、異なる異常タイプ間での性能のばらつきを生じさせる。
• 相対的スコアバイアスの推定に対する有限標本レートが確立され、深層異常検出におけるバイアス評価の理論的基盤が得られた。
• Fashion-MNISTデータセットでは、90%のスニーカー異常データでトレーニングされたモデルはスニーカーでは1.00 TPRを達成したが、ドレスではわずか0.11 TPRにとどまり、分布外異常に対する深刻な性能劣化が確認された。
• Cellular Spectrum Misuseデータセットでは、一部のクラスでは0.99 TPRを達成したが、他のクラスでは0.10 TPRまで低下し、性能の一貫性の欠如が顕著に現れた。
• 研究では、ラベル付き異常データがターゲット分布と一致する場合には有益である一方、一致しない場合には有害であることが判明し、性能の向上または低下は異常クラスによって異なることがわかった。
• 実証的結果から、バイアスのあるデータで訓練されたモデルは、分布内異常（例：ブーツでは0.99）では高いTPRを達成できるが、他のクラス（例：ズボンでは0.06）では再現率が著しく低下することが示され、分布の不一致に起因するリスクが明確になった。