[論文レビュー] Elsa: Energy-based learning for semi-supervised anomaly detection

Sungwon Han, Hyeonho Song+3 more|arXiv (Cornell University)|Mar 29, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用数 6

ひとこと要約

Elsaは、未知の異常が含まれる訓練データに対しても耐性を高めるために、自己教師あり対照的学習とプロトタイプベースのエネルギー関数を統合する、画期的な半教師あり異常検出手法を提案する。Elsaは、学習済みプロトタイプとのコサイン類似度に基づくエネルギー得点を用いて埋め込みをファインチューニングすることで、未知の異常が含まれる訓練データでも、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Anomaly detection aims at identifying deviant instances from the normal data distribution. Many advances have been made in the field, including the innovative use of unsupervised contrastive learning. However, existing methods generally assume clean training data and are limited when the data contain unknown anomalies. This paper presents Elsa, a novel semi-supervised anomaly detection approach that unifies the concept of energy-based models with unsupervised contrastive learning. Elsa instills robustness against any data contamination by a carefully designed fine-tuning step based on the new energy function that forces the normal data to be divided into classes of prototypes. Experiments on multiple contamination scenarios show the proposed model achieves SOTA performance. Extensive analyses also verify the contribution of each component in the proposed model. Beyond the experiments, we also offer a theoretical interpretation of why contrastive learning alone cannot detect anomalies under data contamination.

研究の動機と目的

• 訓練データに未知の異常が含まれる場合に、対照的学習が異常検出において限界を示す理由を解決すること。
• 自己教師あり対照的事前学習と半教師ありエネルギーベースのファインチューニングを統合するフレームワークを構築すること。
• プロトタイプベースのエネルギースコアリングにより、正規データの構造的分布を学習することで、モデルの耐性を向上させること。
• 少数の正規/OODラベルを活用して、最小限のラベル付きデータで効果的な異常検出を可能にすること。
• エネルギーモデルの観点から、標準的な対照的学習がデータ汚染下でなぜ失敗するのかを理論的に解明すること。

提案手法

• 拡張されたデータ上で対照的学習を用いて特徴エンコーダーを事前学習し、汎用的な表現を学習する。
• 入力埋め込みと学習済みプロトタイプベクトル間のコサイン類似度に基づくエネルギー関数を定義し、正規性をモデル化する。
• 判別型分類器を用いてエネルギー得点（ロジット）を計算し、低エネルギーは正規性、高エネルギーは異常性を示す。
• 異常に対してエネルギーの逆数を最大化し、正規サンプルに対してはエネルギーを最小化する新しい損失関数を用いてモデルをファインチューニングする。
• 真のクラスラベルが不要な状況でも、正規データ内のクラス内多様性をプロトタイプベースのメカニズムで捉える。
• 元のサンプルと拡張サンプルを区別する検証スコアに基づいた早期停止を適用し、テスト性能と高い相関を示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な対照的学習は、訓練データに未知の異常が含まれる場合に異常検出に失敗するのか？
• RQ2 エネルギーベースの学習を、自己教師あり対照的表現学習と効果的に統合する方法は何か？
• RQ3 プロトタイプ数と早期停止戦略の選択が、モデルの性能と一般化能力に与える影響は何か？
• RQ4 少数のラベル付き正規/OODサンプルは、汚染された訓練データにおける検出耐性を顕著に向上させられるか？
• RQ5 既存の損失目的と比較して、提案されたエネルギー関数は正規分布と異常分布の分離性をどのように向上させるか？

主な発見

• Elsaは、CIFAR-10やその他のベンチマークデータセットで、少数のラベル付きサンプルしか使用しなくても最先端の性能を達成する。
• 未知の異常が訓練データに含まれる状況でも、既存の最先端手法を上回る強い耐性を示す。
• アブレーションスタディの結果、対照的学習の目的関数のエネルギー関数を変更すると性能が最も著しく低下し、理論的分析の妥当性が裏付けられる。
• 元のサンプルと拡張サンプルを区別するための早期停止スコアは、テストAUROCと高いピアソン相関（0.912 ± 0.038）を示し、信頼性の高い早期停止が可能である。
• トレーニング中のエネルギー得点分布は変化する：正規サンプルはプロトタイプの周囲に集中し、異常サンプルは広がるため、明確な分離が可能になる。
• 定性的な分析から、プロトタイプが、CIFAR-10のAirplaneクラスにおける明確な形状など、意味的で視覚的に整合性のある正規データのクラスタを捉えていることが確認された。