[論文レビュー] Explicit Boundary Guided Semi-Push-Pull Contrastive Learning for Supervised Anomaly Detection

Xincheng Yao, Ruoqi Li+3 more|arXiv (Cornell University)|Jul 4, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、限定的な既知の異常例からのバイアスを軽減しつつ、モデルの識別能を向上させるために明示的な境界ガイダンスと準プッシュプル対照損失を用いる、新しい教師あり異常検出手法BGADを提案する。正規化された正常特徴分布を学習してコンパクトな分離境界を定義し、境界に従う損失関数を適用することで、正常特徴は引き寄せられ、異常特徴はマージンを超えて押し出される。このアプローチにより、MVTec ADでカテゴリ別に+2.5%〜+8.6%のAUROCおよびPRO向上を達成し、最先端の性能を実現した。

ABSTRACT

Most anomaly detection (AD) models are learned using only normal samples in an unsupervised way, which may result in ambiguous decision boundary and insufficient discriminability. In fact, a few anomaly samples are often available in real-world applications, the valuable knowledge of known anomalies should also be effectively exploited. However, utilizing a few known anomalies during training may cause another issue that the model may be biased by those known anomalies and fail to generalize to unseen anomalies. In this paper, we tackle supervised anomaly detection, i.e., we learn AD models using a few available anomalies with the objective to detect both the seen and unseen anomalies. We propose a novel explicit boundary guided semi-push-pull contrastive learning mechanism, which can enhance model's discriminability while mitigating the bias issue. Our approach is based on two core designs: First, we find an explicit and compact separating boundary as the guidance for further feature learning. As the boundary only relies on the normal feature distribution, the bias problem caused by a few known anomalies can be alleviated. Second, a boundary guided semi-push-pull loss is developed to only pull the normal features together while pushing the abnormal features apart from the separating boundary beyond a certain margin region. In this way, our model can form a more explicit and discriminative decision boundary to distinguish known and also unseen anomalies from normal samples more effectively. Code will be available at https://github.com/xcyao00/BGAD.

研究の動機と目的

• 正常サンプルのみに依存する非教師あり異常検出モデルの識別能の不足を解消すること。
• 限定的な既知の異常例に過学習するモデルのバイアス問題を軽減すること。
• トレーニング時に少数の既知の異常例を効果的に活用することで、未観測の異常への一般化を向上させること。
• 正常と異常サンプルを明確に分離する明示的かつ信頼性の高い意思決定境界を構築すること。
• 擬似異常生成を用いて、希少な異常状況における特徴学習の効率を高めること。

提案手法

• 正規化流れ（normalizing flows）を用いて、正規化された正常特徴分布を学習し、ハイパーパramータ β に基づく明示的かつコンパクトな分離境界を導出する。
• 正常特徴が境界の下限を超える対数尤度を持つ場合にのみ、それらを引き寄せる境界ガイダンス型準プッシュプル（BG-SPP）対照損失を導入する。
• 境界の上側にある異常特徴は、定義されたマージンを超えて境界から遠ざけられ、明確な分離が保証される。
• 準プッシュプル機構により、すべての異常特徴を完全に押し出さないため、過学習のリスクが低減され、正常特徴の凝集性が維持される。
• ランダムオーグメント（RandAugment）に基づく擬似異常生成戦略を用いて、正常サンプルに局所的な不規則性を模擬し、実際の異常例の希少性に対処する。
• BG-SPP損失を用いてエンドツーエンドでモデルを訓練することで、識別的な特徴学習が可能になり、未観測の異常に対してもロバストである。

実験結果

リサーチクエスチョン

• RQ1 正規分布に基づく明示的な分離境界は、異常検出モデルの識別能を向上させることができるか？
• RQ2 準プッシュプル対照損失機構は、既知の異常例からのバイアスを低減しつつ、未観測の異常への一般化性能を向上させることができるか？
• RQ3 明示的な境界ガイダンスは、従来の対照学習と比較して、異常検出ベンチマークにおけるAUROCおよびPRO指標でどのように優れているか？
• RQ4 擬似異常生成は、データが少ない異常状況における特徴学習をどの程度向上させることができるか？
• RQ5 本手法は、簡単なサブセットで学習した場合でも、困難で未観測の異常サブセットで高い性能を維持できるか？

主な発見

• MVTec ADデータセットにおいて、BGADはベースラインのNFADと比較して、画像AUROCで2.5%の相対的向上（0.992 対 0.968）を達成した。
• 困難なサブセットにおいても、BGADは効果的に一般化し、PROで6.7%の相対的向上（0.930 対 0.863）を示したが、これは容易な異常のみで学習されたにもかかわらずである。
• BG-SPP損失は、全プッシュ型バージョン（BGAD†）を上回り、特に複雑なカテゴリ（Capsule や Transistor）では過学習の影響が強く、AUROCが低くなる傾向にあった。
• 可視化結果から、BGADは曖昧な対数尤度領域を低減し、非教師ありまたはバイアスがかかる教師あり手法よりもより識別的な特徴分布を生成していることが示された。
• BGADが生成する異常局所化マップは、一部のケースで正解よりも正確であり、優れた局所化能力を示している。
• 本手法は、MVTec ADベンチマークにおいて、画像AUROC、ピクセルAUROC、PROを含むすべての評価指標で最先端の性能を達成した。