[論文レビュー] Deep Weakly-supervised Anomaly Detection

Guansong Pang, Chunhua Shen+2 more|arXiv (Cornell University)|Oct 30, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用数 33

ひとこと要約

PReNet は、深層の弱教師あり異常検知器で、異常-異常、異常-未ラベル、未ラベル-未ラベルのペア間の関係を学習して、見られた異常と未見の異常を検出し、未ラベルデータにおける異常汚染に対して強いロバスト性を持つ。

ABSTRACT

Recent semi-supervised anomaly detection methods that are trained using small labeled anomaly examples and large unlabeled data (mostly normal data) have shown largely improved performance over unsupervised methods. However, these methods often focus on fitting abnormalities illustrated by the given anomaly examples only (i.e.,, seen anomalies), and consequently they fail to generalize to those that are not, i.e., new types/classes of anomaly unseen during training. To detect both seen and unseen anomalies, we introduce a novel deep weakly-supervised approach, namely Pairwise Relation prediction Network (PReNet), that learns pairwise relation features and anomaly scores by predicting the relation of any two randomly sampled training instances, in which the pairwise relation can be anomaly-anomaly, anomaly-unlabeled, or unlabeled-unlabeled. Since unlabeled instances are mostly normal, the relation prediction enforces a joint learning of anomaly-anomaly, anomaly-normal, and normal-normal pairwise discriminative patterns, respectively. PReNet can then detect any seen/unseen abnormalities that fit the learned pairwise abnormal patterns, or deviate from the normal patterns. Further, this pairwise approach also seamlessly and significantly augments the training anomaly data. Empirical results on 12 real-world datasets show that PReNet significantly outperforms nine competing methods in detecting seen and unseen anomalies. We also theoretically and empirically justify the robustness of our model w.r.t. anomaly contamination in the unlabeled data. The code is available at https://github.com/mala-lab/PReNet.

研究の動機と目的

• 見られた異常に過学習し、未見の異常には対応が難しい既存の半教師あり異常検知器の課題を動機づけ、対処する。
• 異常-異常、異常-未ラベル、未ラベル-未ラベルのペアを用いて一般化された異常スコアを学習するペアワイズ関係学習フレームワーク（PReNet）を提案する。
• 大量の未ラベルデータと限定的なラベル付き異常を活用しつつ、見られた異常と未見の異常の両方の堅牢な検出を実現する。
• 異常汚染に対するロバスト性の理論的根拠を提供し、実世界データセット全体での優れた実証性能を示す。

提案手法

• 異常スコア付けを、3つのペアタイプ（異常-異常、異常-未ラベル、未ラベル-未ラベル）に対するペアワイズ関係予測タスクとして定式化する。
• c(a,a) > c(a,u) > c(u,u)となる序列ラベルを持つインスタンス対データセットを構築し、異常スコアの学習を導く。
• 共有特徴抽出器を持つ2ストリームのニューラルネットワークを用いてペア表現を計算し、線形のスコアリングヘッドで異常スコアを生成する。
• 予測スコアと序数ラベルとのギャップを最小化する3クラス序数回帰損失で訓練し、クラス不均衡に対処するため異常関連ペアの過サンプリングを行う。
• ラベル付き異常と未ラベルデータを用いた複数のランダムな組み合わせに対してペアワイズスコアを平均化してテストインスタンスの異常スコアを推定する。
• 3.3 Anomaly Detection Using PReNet は、複数のペアリングから計算されるアンサンブル風のスコア s_xk を含む、訓練と推論の手順を説明する。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありフレームワークは、特定の異常の例ではなくペアワイズ関係から学習することで、未見の異常タイプに一般化できるか。
• RQ2 ペアワイズ関係学習は、既存の半教師ありおよび教師なし手法と比べて、検出性能とサンプル効率をどのように向上させるか。
• RQ3 PReNet アプローチは未ラベルデータの異常汚染に対してロバストか、どのような条件下でそうか。

主な発見

• PReNet は、見られた異常と未見の異常検出において、12の実世界データセットで9つの競合手法を大幅に上回る（AUC-PRおよびAUC-ROCの観点で）。
• PReNet は、より高い異常検知性能と著しく優れたサンプル効率を達成し、設定によってはラベル付き異常データを50％-87.5％少なくて済む。
• この手法は未ラベルデータの異常汚染がある場合にもロバストな性能を示し、理論的保証と実證的根拠がある。
• 一連のベンチマークデータセットにおいて、最先端手法に対して実証的に大幅な改善を示す。