[論文レビュー] Unsupervised Visual Defect Detection with Score-Based Generative Model

Yapeng Teng, Haoyang Li+3 more|arXiv (Cornell University)|Nov 29, 2022

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本稿では、ストークス微分方程式（SDEs）を用いたスコアベースの生成モデルを活用し、ノイズ付き再構成のスコア（対数確率密度の勾配）を測定することで欠険を検出する、新しい教師なし視覚的欠陓検出手法Score-DDを提案する。Tスケール戦略を用いて推論を高速化し、再構成損失の代わりにスコアベースの指標を採用することで、ラベル付き異常データや追加モデルを一切必要とせず、MVTec ADで最先端の性能を達成する。

ABSTRACT

Anomaly Detection (AD), as a critical problem, has been widely discussed. In this paper, we specialize in one specific problem, Visual Defect Detection (VDD), in many industrial applications. And in practice, defect image samples are very rare and difficult to collect. Thus, we focus on the unsupervised visual defect detection and localization tasks and propose a novel framework based on the recent score-based generative models, which synthesize the real image by iterative denoising through stochastic differential equations (SDEs). Our work is inspired by the fact that with noise injected into the original image, the defects may be changed into normal cases in the denoising process (i.e., reconstruction). First, based on the assumption that the anomalous data lie in the low probability density region of the normal data distribution, we explain a common phenomenon that occurs when reconstruction-based approaches are applied to VDD: normal pixels also change during the reconstruction process. Second, due to the differences in normal pixels between the reconstructed and original images, a time-dependent gradient value (i.e., score) of normal data distribution is utilized as a metric, rather than reconstruction loss, to gauge the defects. Third, a novel $T$ scales approach is developed to dramatically reduce the required number of iterations, accelerating the inference process. These practices allow our model to generalize VDD in an unsupervised manner while maintaining reasonably good performance. We evaluate our method on several datasets to demonstrate its effectiveness.

研究の動機と目的

• 欠陓サンプルが極めて稀である産業分野における教師なし視覚的欠陓検出の課題に対処すること。
• 再構成ベースの手法の限界を克服すること。特に、ノーマルピクセルがノイズ除去の過程で変化してしまうため、ピクセル単位の再構成損失が異常検出に信頼性がないこと。
• ノーマルデータ分布の高密度領域からの距離をより良く捉えるために、対数確率密度の勾配（スコア）に基づく指標を開発すること。
• 長時間の単一の逆方向遷移ではなく、複数の短い逆方向軌道を用いることで、スコアベースモデルの推論速度を向上させるTスケール技術を導入すること。
• 事前学習ネットワーク、追加データ、複雑な損失関数の再設計に依存しない、シンプルで効果的かつ即時適用可能な教師なしVDDのソリューションを提供すること。

提案手法

• 本手法は、SDEsを用いてノーマル画像のみで訓練されたスコアベースの生成モデルを用い、反復的にノイズを除去して現実的なサンプルを生成する。
• 2つの逆方向プロセスを導入する：『ホールスコア』はノイズ付き画像をノーマルデータの高密度領域へ誘導するためのもので、『セルフスコア』はノイズから元の画像を再構成するためのものである。
• 主な指標は、ホールスコアプロセスの中間ステップにおけるスコア値（対数密度の勾配）であり、これはサンプルがノーマル分布からどれほど離れているかを定量化する。
• Tスケール技術は、複数の初期ノイズレベル{t}を選択し、各レベルで僅かな逆方向ステップ数（r）を実行することで、並列推論を可能にし、合計ステップ数を削減する。
• 欠陓の局所化は、同一画像の2つのノイズ付きバージョン（1つはホールスコア、もう1つはセルフスコアから得られる）のスコア値を比較することで達成され、乖離度が高いほど異常であると判断する。
• 本手法は再構成損失を完全に回避し、確率密度に基づいた原理的で信頼性の高い指標としてスコアを用いる。これにより、異常の深刻さをより適切に反映できる。

実験結果

リサーチクエスチョン

• RQ1 教師なし環境下で視覚的欠陓検出の指標として、再構成損失よりも信頼性が高いとされる、復元画像のスコア（対数密度の勾配）は有効か？
• RQ2 既存の手法ではなぜノーマルピクセルが再構成中にずれるのか？スコアベースの指標を用いることで、この問題は軽減可能か？
• RQ3 スコアベースモデルの推論速度は、精度を損なわず著しく高速化可能か？
• RQ4 複数の短い逆方向軌道（Tスケール）を用いることで、元のピクセルの忠実度が保たれ、検出性能が向上するか？
• RQ5 事前学習特徴、外部データ、複雑な損失関数に依存しないスコアベースモデルは、教師なしVDDで競争力のある性能を達成可能か？

主な発見

• アブレーションスタディにより、MVTec ADでスコアベース指標が再構成損失を上回ることを示した。特に、スコアベース検出は再構成損失ベース手法よりも高いAU-ROCを達成した。
• Tスケール技術により、MVTec ADデータセット上での推論時間の複雑さがO(251)からO(15)に削減され、AnoDDPMなどのベースラインスコアベース手法に比べて著しく高速化された。
• 本手法は、ラベル付き異常データ、事前学習ネットワーク、補助モデルを一切使用せず、MVTec ADで競争力のある性能を達成した。
• アブレーションスタディにより、Tスケールが1つの軌道あたりの逆方向ステップ数を制限することで、元のピクセル情報の損失を抑え、ノーマル領域の歪みを低減するため、性能が向上することが確認された。
• 本手法はノーマルデータの分布シフトに対しても頑健であり、多様な産業的欠陓タイプにわたる一般化性能が高く、複数のデータセットで実証された。
• 固定された特徴マップ選択に敏感であるが、依然として高い性能を維持しており、今後の研究で自己教師ありまたは半教師ありヘッドを統合することで拡張可能である。