[論文レビュー] SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation

Yizhou Wang, Can Qin+4 more|arXiv (Cornell University)|Nov 25, 2021

Anomaly Detection Techniques and Applications参考文献 68被引用数 5

ひとこと要約

SLA²Pは、ランダム特徴投影を用いて仮想クラスを生成し、それらで分類器を学習させることで、正常データのパターンを学習する自己教師あり異常検出フレームワークを提案する。変換された特徴に敵対的摂動を適用し、予測の不確実性を測定することで、信頼度スコアの低下を利用して異常を同定する。画像、テキスト、表形式のデータセットにおいて、極端な異常比に強く、最先端の性能を達成する。

ABSTRACT

Anomaly detection is a fundamental yet challenging problem in machine learning due to the lack of label information. In this work, we propose a novel and powerful framework, dubbed as SLA$^2$P, for unsupervised anomaly detection. After extracting representative embeddings from raw data, we apply random projections to the features and regard features transformed by different projections as belonging to distinct pseudo classes. We then train a classifier network on these transformed features to perform self-supervised learning. Next we add adversarial perturbation to the transformed features to decrease their softmax scores of the predicted labels and design anomaly scores based on the predictive uncertainties of the classifier on these perturbed features. Our motivation is that because of the relatively small number and the decentralized modes of anomalies, 1) the pseudo label classifier's training concentrates more on learning the semantic information of normal data rather than anomalous data; 2) the transformed features of the normal data are more robust to the perturbations than those of the anomalies. Consequently, the perturbed transformed features of anomalies fail to be classified well and accordingly have lower anomaly scores than those of the normal samples. Extensive experiments on image, text and inherently tabular benchmark datasets back up our findings and indicate that SLA$^2$P achieves state-of-the-art results on unsupervised anomaly detection tasks consistently.

研究の動機と目的

• ラベル付きデータが利用不可で、異常がまれで多様な状況における教師なし異常検出の課題に対処すること。
• 特徴レベルの変換による自己教師あり学習を活用し、仮想クラスに変換することで検出性能を向上させること。
• 敵対的摂動を施した特徴からの予測不確実性を、感受性の高い異常スコアのメカニズムとして活用すること。
• 特に低異常比または高異常比の状況においても、頑健な性能を発揮すること。
• ランダム投影の理論的分析を通じて、画像レベルと特徴レベルの自己教師あり手法のギャップを埋めること。

提案手法

• 深層埋め込みにランダム投影を適用し、複数の変換済み特徴ビューを生成し、自己教師あり学習のための別個の仮想クラスとして扱う。
• 過学習を防ぐために早期停止を用い、深層ニューラルネットワーク分類器を投影された特徴上で学習させ、正常データのパターンに焦点を当てる。
• 変換済み特徴に敵対的摂動を追加し、予測ラベルのソフトマックス信頼度を低下させることで、不確実性の差を拡大する。
• 摂動後の予測信頼度の低下に基づいて異常スコアを計算し、低いスコアがより高い異常可能性を示す。
• タスク固有の適合なしに、画像、テキスト、表形式のデータに対してエンドツーエンドで適用可能。
• 理論的分析により、ランダム投影が特徴類似性を保持することを確認し、意味のある仮想クラスの作成に有効であることを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ランダム投影による特徴レベルの変換が、自己教師あり異常検出における効果的な仮想教師信号を生成できるか？
• RQ2 敵対的摂動が、異常を同定するための予測不確実性の識別力に寄与するか？
• RQ3 提案手法は、画像、テキスト、表形式データなど多様なデータモダリティに一般化可能か？
• RQ4 極端な異常比、特に非常に低いまたは非常に高い外れ値割合の下でSLA²Pはどのように性能を発揮するか？
• RQ5 この自己教師あり異常検出フレームワークにおいて、ランダム投影を使用する理論的根拠は何か？

主な発見

• SLA²Pは、画像、テキスト、表形式の分野で7つのベンチマークデータセットにおいて最先端の性能を達成し、先行手法を大きく上回った。
• MVTec-ADデータセットでは、平均AUROCが95.81%に達し、前回の最先端手法を1.25ポイント上回った。
• 20 Newsgroupsテキストデータセット（p=0.5）では、AUROCが78.13%に達し、次に優れた手法を7.0ポイント上回った。
• 極端な異常比の下でも強固な性能を維持し、MVTec-ADでは1%の異常比でもAUROCが90%以上、50%の異常比でも85%以上を記録した。
• アブレーションスタディにより、ランダム投影と敵対的摂動の両方が不可欠であることが確認され、いずれかを除去すると平均で5%以上の性能低下が生じた。
• 理論的分析により、ランダム投影が特徴類似性を保持することが確認され、仮想クラス学習目的の妥当性が裏付けられた。