[論文レビュー] Anomaly Detection with Conditioned Denoising Diffusion Models

Arian Mousakhan, Thomas Brox+1 more|arXiv (Cornell University)|May 25, 2023

Anomaly Detection Techniques and Applications被引用数 32

ひとこと要約

DDAD は、入力ターゲットに導かれた条件付きノイズ除去拡散フレームワークを導入し、異常なし画像を再構成することでピクセルレベルおよび特徴ベースの異常局在化とドメイン適応型特徴抽出を可能にし、MVTec、VisA、MTD で最先端の結果を達成します。

ABSTRACT

Traditional reconstruction-based methods have struggled to achieve competitive performance in anomaly detection. In this paper, we introduce Denoising Diffusion Anomaly Detection (DDAD), a novel denoising process for image reconstruction conditioned on a target image. This ensures a coherent restoration that closely resembles the target image. Our anomaly detection framework employs the conditioning mechanism, where the target image is set as the input image to guide the denoising process, leading to a defectless reconstruction while maintaining nominal patterns. Anomalies are then localised via a pixel-wise and feature-wise comparison of the input and reconstructed image. Finally, to enhance the effectiveness of the feature-wise comparison, we introduce a domain adaptation method that utilises nearly identical generated examples from our conditioned denoising process to fine-tune the pretrained feature extractor. The veracity of DDAD is demonstrated on various datasets including MVTec and VisA benchmarks, achieving state-of-the-art results of \(99.8 \%\) and \(98.9 \%\) image-level AUROC respectively.

研究の動機と目的

• 再構成ベースの異常検知を動機付け、再構成品質と名義分布のカバレッジにおける従来手法の限界に対処する。
• 拡散ベースの再構成のための条件付けメカニズムを提案し、異常を除去するためにデノイジングをターゲット画像へ導く。
• ピクセル-wise および特徴-wise の比較を組み合わせて、異常を正確に検出・局在化する。
• 問題領域に適応する特徴抽出器を学習なしでドメイン適応する技術を導入する。
• 産業用異常データセット（MVTec、VisA）と新しいデータセット（MTD）で最先端の性能を示す。

提案手法

• ターゲット画像 y が摂動入力 x_t のデノイジングを名目再構成 x_0 に向けて誘導するよう、再構築のための条件付きデノイジングプロセスを開発する。
• 事後スコア勾配 ∇_{x_t} log p_theta(x_t|y_t) を、無条件スコアと尤度補正項の和として、条件付け重み w を用いて定式化する。
• 差分 y_t−x_t を考慮した修正された epsilon_hat を用いて、x_{t-1} を生成するようデノイサー予測を更新する（式(7)）。
• ターゲット y を入力 x に設定し異常なし版を再構成して異常を検出する。異常は x_0 と y の間のピクセル距離 D_p と特徴距離 D_f（コサインベース）で局在化される。
• ピクセルレベル距離と特徴レベル距離を最終異常スコア D_anomaly に統合して、堅牢な局在化を実現する。
• 再構成画像とターゲット画像間の特徴距離を最小化して、ターゲットドメインに適応させるための教師なしドメイン適応（および蒸留）を適用し、蒸留損失で忘却を防ぐ。

Figure 1 : Our approach achieves defect-free reconstruction of input images that are devoid of anomalies. An accurate anomaly detection heatmap is computed. Note that reconstructions are analogous to the expected nominal approximation of the input. In the category of cables, an incorrectly placed gr

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散ベース再構成をターゲット画像により制御することは、異常なしの復元と異常検知性能を改善するのか。
• RQ2 ピクセル-wise と特徴-wise の比較を組み合わせることで、異常の局在精度は向上するのか。
• RQ3 特徴抽出器の教師なしドメイン適応は、ドメイン特有の産業データで検出と局在化をさらに向上させるのか。
• RQ4 DDAD の標準ベンチマーク（MVTec、VisA）および追加データセット（MTD）における他手法と比較した性能はどうか。

主な発見

• DDAD は、ドメイン適応と特徴融合後、画像レベルの AUROC が 99.8%、VisA で 98.9% を達成。
• 拡散過程を条件付けることにより、ピクセルレベルのガイダンスを用いた無条件デノイジングより、Image AUROC が MVTec で 85.7% から 92.4% に、VisA で 87.0% から 94.1% に向上。
• 特徴抽出器のドメイン適応は、MVTec/VisA データセットで特徴ベース分岐の異常検知が 8.2%、局在化が 4.8% の改善をもたらす。
• ピクセル-wise と特徴-wise の比較を組み合わせ、条件付けを行うことで局在化が優位になり、報告されたベンチマークにおいて再構成ベースと表現ベースの両方のベースラインを上回る。
• コンパクトなバリアント DDAD-S（約 8M パラメータ）でも推論が速く、エッジデプロイに適した競争力を維持。
• MTD では DDAD-10 が 98.3% の画像 AUROC を達成し、単一カテゴリ欠陥データセットへの強い一般化を示す。

Figure 2 : Framework of DDAD . After a denoising U-Net has been trained, the feature extractor is adapted to the problem domain by minimising the distance between the extracted features of a target image and a generated image which resembles the target image. At inference time, after perturbing the