[論文レビュー] Zero-Shot Anomaly Detection via Batch Normalization

Aodong Li, Chen Qiu+4 more|arXiv (Cornell University)|Feb 15, 2023

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

要約: Adaptive Centered Representations (ACR) を導入するゼロショットのバッチレベル異常検出手法。バッチ正規化とメタトレーニングを用いて、再訓練なしに tabular および image データの unseen AD タスクへ generalize する。

ABSTRACT

Anomaly detection (AD) plays a crucial role in many safety-critical application domains. The challenge of adapting an anomaly detector to drift in the normal data distribution, especially when no training data is available for the "new normal," has led to the development of zero-shot AD techniques. In this paper, we propose a simple yet effective method called Adaptive Centered Representations (ACR) for zero-shot batch-level AD. Our approach trains off-the-shelf deep anomaly detectors (such as deep SVDD) to adapt to a set of inter-related training data distributions in combination with batch normalization, enabling automatic zero-shot generalization for unseen AD tasks. This simple recipe, batch normalization plus meta-training, is a highly effective and versatile tool. Our theoretical results guarantee the zero-shot generalization for unseen AD tasks; our empirical results demonstrate the first zero-shot AD results for tabular data and outperform existing methods in zero-shot anomaly detection and segmentation on image data from specialized domains. Code is at https://github.com/aodongli/zero-shot-ad-via-batch-norm

研究の動機と目的

• 新しい正規分布へデータ分布の drift に対してラベル付き訓練データなしで異常検知器を適応させる課題を解決する。
• 異なる分布を整列させるためにバッチ正規化を活用した軽量なゼロショット AD 手法を提案する。
• unseen AD タスクの自動的なゼロショット generalization を可能にするメタ訓練スキームを開発する。
• 一般化境界による理論的正当性を提供し、表形式データと画像領域の両方で有効性を示す。

提案手法

• 正規サンプルが原点近くにクラスタリングされ、異常が離散するようにバッチを再中心化・再スケーリングする適応機構としてのバッチ正規化を用いる。
• メタ訓練セット内の相互関連分布に対して既製の深層異常検知器（例：DSVDD、ニューロン変換学習）を訓練し、バッチ正規化ベースの適応を学習する。
• Meta Outlier Exposure を導入し、訓練分布を他分布のデータの一部と混合して正規境界を引き締める。
• 標準的な異常スコアと逆スコアの両方を組み込む損失を定式化し、メタ訓練バッチ内の正常対異常の教師信号として機能させる。
• 新しい分布への一般化誤差が変換後のテスト分布と平均訓練分布との総変動で抑制されるという理論的境界を提供する。
• tabular データでゼロショット AD を実証し、タスク特定の再訓練を行うことなく image データセット（MVTec AD）の異常セグメンテーションで最先端を達成する。

Figure 1: a) Demonstrations of concrete examples of a meta-training set and a testing distribution. It is not necessary for the meta-training set to include the exact types of samples encountered during testing. For instance, when detecting lions within geese, the training data does not need to incl

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化とメタ訓練を組み合わせることで、見たことのない正規分布への異常検知器のゼロショット一般化を実現できるか。
• RQ2 提案された ACR フレームワークは、テスト時に追加の監視なしに、多様なデータタイプ（表形式、画像）と異常率でどのように性能を発揮するか。
• RQ3 この設定におけるゼロショット一般化に関する理論的保証は何か。
• RQ4 メタ Outlier Exposure は訓練時の異常境界の学習にどのように影響するか。

主な発見

• ACR は複数の分布にわたるバッチ正規化を用いて自動的なゼロショット一般化を実現する。
• ACR は tabular データでゼロショットの AD を達成し、画像データ（非自然画像・医用画像を含む）でベースラインを上回る。
• ACR は MVTec AD ベンチマークで異常セグメンテーションの新たな最先端を確立。
• 未知分布へのギャップはテスト分布と訓練変換分布間の総変動で境界を超えないことを示す理論的一般化境界を導出。
• Meta Outlier Exposure は他分布のサンプルを訓練時の異常として扱うことで境界の締まり具合を改善。
• ACR は異常率の変化に対して頑健で、テスト時のタスク固有の再訓練を必要としない。

Figure 2: Illustration of batch normalization for AD with two tasks $P^{\pi}_{1}$ and $P^{\pi}_{2}$ . The method (batch-)normalizes the data in $P^{\pi}_{j}$ separately. If each $P^{\pi}_{j}$ consists mainly of normal samples, most samples will be shifted close to the origin (by subtracting the resp