[論文レビュー] SPot-the-Difference Self-Supervised Pre-training for Anomaly Detection and Segmentation

Zou, Yang, Jongheon Jeong+3 more|arXiv (Cornell University)|Jul 28, 2022

Anomaly Detection Techniques and Applications被引用数 15

ひとこと要約

本論文は、局所的差異を強調するためのスパム・ザ・ディファレンス（SPD）損失でコントラスト学習を正則化することで、異常検出の局所的感度を向上させる自己教師あり事前学習手法SPDを提案する。また、10,821枚の画像と1,200件の異常を含む、工業的異常検出で最大のデータセットであるVisAを公開しており、2クラスのハイショット設定において、SPDはSimSiamに比べ5.9%、教師あり事前学習に比べ6.8%高いAU-PRを達成している。

ABSTRACT

Visual anomaly detection is commonly used in industrial quality inspection. In this paper, we present a new dataset as well as a new self-supervised learning method for ImageNet pre-training to improve anomaly detection and segmentation in 1-class and 2-class 5/10/high-shot training setups. We release the Visual Anomaly (VisA) Dataset consisting of 10,821 high-resolution color images (9,621 normal and 1,200 anomalous samples) covering 12 objects in 3 domains, making it the largest industrial anomaly detection dataset to date. Both image and pixel-level labels are provided. We also propose a new self-supervised framework - SPot-the-difference (SPD) - which can regularize contrastive self-supervised pre-training, such as SimSiam, MoCo and SimCLR, to be more suitable for anomaly detection tasks. Our experiments on VisA and MVTec-AD dataset show that SPD consistently improves these contrastive pre-training baselines and even the supervised pre-training. For example, SPD improves Area Under the Precision-Recall curve (AU-PR) for anomaly segmentation by 5.9% and 6.8% over SimSiam and supervised pre-training respectively in the 2-class high-shot regime. We open-source the project at http://github.com/amazon-research/spot-diff .

研究の動機と目的

• 工業的表面欠陊検出における異常データの不足という課題に対処するため、欠陊に対して局所的感度を高める自己教師あり事前学習手法の開発。
• 画像およびピクセルレベルのアノテーションを備えた大規模・高解像度・マルチドメインの工業的異常データセットを構築し、堅牢なベンチマークを支援すること。
• 新規のコントラスト自己教師ありフレームワークを用いて、低ショットおよび2クラスの異常検出設定における汎化性と性能を向上させること。
• SPDが複数のベンチマークおよびバックボーンアーキテクチャにおいて、コントラスト学習および教師あり事前学習を上回ることを実証すること。

提案手法

• 自己教師あり事前学習のためのスパム・ザ・ディファレンス（SPD）損失を提案し、拡張された画像ペア間の微細な局所的差異を検出させることで、小さな欠陊に対する感度を向上させる。
• 局所的差異を有する合成画像ペアを生成するためにSmoothBlend拡張を用い、事前学習中に現実の異常を模倣する。
• 既存のコントラスト自己教師あり手法（SimSiam, MoCo, SimCLR）と組み合わせ、SPD損失を正則化項として統合する。
• 最先端の手法（PaDiM, PatchCore）を用いて、SPD正則化表現を下流の異常検出およびセグメンテーションタスクに適用する。
• 事前学習中にSPD損失と主なコントラスト目的とのバランスを取るために、学習可能なハイパーパrameter ηを採用する。
• 1クラスおよび2クラスの学習制約下で、新規にリリースされたVisAおよびMVTec-ADの2つのベンチマークで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 局所的差異に注目する自己教師あり事前学習手法が、標準的なコントラスト学習や教師あり事前学習と比較して、異常検出性能を向上させられるか？
• RQ2 提案されたSPDフレームワークは、異なるバックボーンや下流の異常検出アーキテクチャに一般化可能か？
• RQ3 異常データが利用可能な低ショットおよび2クラス設定において、SPD手法はどのように性能を発揮するか？
• RQ4 SPD正則化表現は、分類およびピクセルレベルのセグメンテーションの両方の異常検出を向上させられるか？
• RQ5 SPD手法は、標準的なImageNet分類タスクの汎化性にも寄与するか、広範な応用可能性を示唆するか？

主な発見

• VisAの2クラスハイショット設定において、SPDはSimSiamに比べ5.9%、教師あり事前学習に比べ6.8%高いAU-PRを達成し、異常セグメンテーションの性能を向上させた。
• VisAにおいて、SPDは分類タスクで0.5%、セグメンテーションタスクで0.9%向上させ、教師ありImageNet事前学習に適用した場合の性能向上を示した。
• SPDは、複数のコントラストベースライン（SimSiam, MoCo, SimCLR）およびバックボーン（ResNet-50, Wide ResNet-50）において一貫して性能を向上させた。
• η=0.1のSPD損失が最良の性能を示し、デフォルトのハイパーパrameter設定として採用された。
• ResNet-18ではImageNetトップ-1精度が0.4%向上、ResNet-50では0.3%向上したため、異常検出を超えた広範な利点が示された。
• 定性的な分析から、SPDはGradCAMの注目マップを強化し、標準的な事前学習と比較して局所的欠陊に焦点を合わせるようになった。