[論文レビュー] Focus Your Distribution: Coarse-to-Fine Non-Contrastive Learning for Anomaly Detection and Localization

Ye Zheng, Xiang Wang+4 more|arXiv (Cornell University)|Oct 9, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用数 6

ひとこと要約

本稿では、工業画像における教師なし異常検出および局所化のための粗いから細かい段階への非対照的学習フレームワークを提案する。ピクセルレベルおよび特徴量レベルのアライメントを活用し、その後に密な非対照的学習を実施することで、コンパクトで判別性の高い正常分布を学習する。本手法は、MVTec ADおよびShanghai Tech Campusデータセットで最先端の性能を達成し、異常サンプルを一切使用しないまま微細で目立たない欠陥を検出する能力を示す。

ABSTRACT

The essence of unsupervised anomaly detection is to learn the compact distribution of normal samples and detect outliers as anomalies in testing. Meanwhile, the anomalies in real-world are usually subtle and fine-grained in a high-resolution image especially for industrial applications. Towards this end, we propose a novel framework for unsupervised anomaly detection and localization. Our method aims at learning dense and compact distribution from normal images with a coarse-to-fine alignment process. The coarse alignment stage standardizes the pixel-wise position of objects in both image and feature levels. The fine alignment stage then densely maximizes the similarity of features among all corresponding locations in a batch. To facilitate the learning with only normal images, we propose a new pretext task called non-contrastive learning for the fine alignment stage. Non-contrastive learning extracts robust and discriminating normal image representations without making assumptions on abnormal samples, and it thus empowers our model to generalize to various anomalous scenarios. Extensive experiments on two typical industrial datasets of MVTec AD and BenTech AD demonstrate that our framework is effective in detecting various real-world defects and achieves a new state-of-the-art in industrial unsupervised anomaly detection.

研究の動機と目的

• 微細で目立たない異常が希少かつラベル付けが困難な工業画像における、微細で目立たない異常を検出する課題に対処すること。
• 合成または仮定された異常サンプルに依存せずに、正常画像表現のコンパクト性と判別性を向上させること。
• 正常画像間で密な特徴量アライメントを可能にする自己教師付きプロメイトタスクを設計し、より良い異常局所化を実現すること。
• 人間の視覚的点検を模倣する二段階フレームワーク（粗いアライメント → 細かい非対照的学習）を設計すること。
• ベンチマークデータセット上で、多様な工業欠陥タイプにわたる汎用性とロバストネスを示すこと。

提案手法

• 粗いアライメント段階では、空間変換を用いてピクセルおよび特徴量レベルでオブジェクトの位置を標準化し、バッチ内の画像間でグローバルなコンテキストをアライメントする。
• 細かいアライメント段階では、バッチ内の正常画像間で対応する空間的位置における特徴量の類似性を最大化するため、密な非対照的学習を実施する。
• 非対照的学習は、負例ペairを一切使用しない対照的学習に類似した目的関数として定式化され、正常画像のみを用いてロバストでコンパクトな表現を学習する。
• バックボーンとしてワイド残差ネットワーク（WR50×2）を採用し、色変換や空間変換などのデータオーグメンテーションを適用してロバストネスを向上させる。
• マルチスケール表現を捉えるために、ピラミッドレベルの複数の特徴マップを用いることで、局所化精度を向上させる。
• 再構成誤差または特徴量の乖離度を用いて異常スコアを計算し、ピクセル単位の局所化のためのヒートマップを生成する。

実験結果

リサーチクエスチョン

• RQ1 粗いから細かい段階へのアライメント戦略は、工業画像における微細で目立たない異常の検出を改善できるか？
• RQ2 非対照的学習は、異常パターンに関する仮定を一切行わず、コンパクトな正常特徴量分布を効果的に学習できるか？
• RQ3 提案手法は、テクスチャおよびオブジェクトタイプを含む多様な工業欠陥カテゴリに一般化可能か？
• RQ4 標準ベンチマーク上での最先端の教師なし異常検出モデルと比較して、本手法はどのように性能を発揮するか？
• RQ5 欠陥が視覚的に微細かつ局所的であっても、本モデルは高い精度で異常を局所化できるか？

主な発見

• MVTec ADデータセットでは、平均PROスコアが93.0を達成し、以前の最先端手法（PaDiM: 92.1）を上回り、U-S（85.7）を大きく上回った。
• Shanghai Tech Campusデータセットでは、8つの動画シーケンスにおいてピクセル単位のAUCが97.5を達成し、PaDiM（92.1）およびU-S（85.7）を上回った。
• MVTec ADにおいて、テクスチャカテゴリでは93.1のPRO、オブジェクトカテゴリでは93.0のPROを達成し、欠陥タイプにわたる強力な一般化能力を示した。
• アブレーションスタディの結果、粗いアライメントおよび非対照的学習の両方が不可欠であることが確認され、いずれかのコンponentを除去すると顕著な性能低下が生じた。
• 可視化結果から、微細なテクスチャや形状の歪みに対しても、本モデルは高い精度で異常を局所化していることが示された。
• 本手法は、未学習の欠陥タイプに対しても良好に一般化され、さまざまなデータオーグメンテーション条件下でもロバストであることが確認され、実世界の設定における有効性を裏付けた。