[論文レビュー] ReConPatch : Contrastive Patch Representation Learning for Industrial Anomaly Detection

Jeeho Hyun, SangYun Kim+4 more|arXiv (Cornell University)|May 26, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

ReConPatchは、対照的パッチ表現学習手法を工業的欠陥検出に適用し、ペairワイズおよび文脈的類似度からの偽ラベルを用いて特徴の識別性を向上させる。MVTec ADでは入力拡張なしで最先端の性能（99.72% AUROC）を達成し、BTADでは95.8% AUROCを達成した。

ABSTRACT

Anomaly detection is crucial to the advanced identification of product defects such as incorrect parts, misaligned components, and damages in industrial manufacturing. Due to the rare observations and unknown types of defects, anomaly detection is considered to be challenging in machine learning. To overcome this difficulty, recent approaches utilize the common visual representations pre-trained from natural image datasets and distill the relevant features. However, existing approaches still have the discrepancy between the pre-trained feature and the target data, or require the input augmentation which should be carefully designed, particularly for the industrial dataset. In this paper, we introduce ReConPatch, which constructs discriminative features for anomaly detection by training a linear modulation of patch features extracted from the pre-trained model. ReConPatch employs contrastive representation learning to collect and distribute features in a way that produces a target-oriented and easily separable representation. To address the absence of labeled pairs for the contrastive learning, we utilize two similarity measures between data representations, pairwise and contextual similarities, as pseudo-labels. Our method achieves the state-of-the-art anomaly detection performance (99.72%) for the widely used and challenging MVTec AD dataset. Additionally, we achieved a state-of-the-art anomaly detection performance (95.8%) for the BTAD dataset.

研究の動機と目的

• 自然画像で事前学習された特徴と工業的欠陥データとの間のドメインシフトを解消すること。
• 対照的学習に手作業で設計されたデータ拡張に依存する既存手法の限界を克服すること。
• ターゲット指向の表現空間を学習することで、微細な異常の特徴の識別性を向上させること。
• 広範なハイパーパramータチューニングや入力変換なしに、効果的な異常検出とセグメンテーションを可能にすること。

提案手法

• 入力画像からパッチレベルの特徴を事前学習済みCNNで抽出する。
• パッチ特徴をより識別性の高い空間に再配置するために、学習可能な線形変換を適用する。
• 偽ラベルを用いて特徴表現を最適化するため、緩和された対照的損失（$\mathcal{L}_{RC}$）を採用する。
• 2つの類似度測定（ペアワイズ類似度と文脈的類似度）を用いて偽ラベルを生成する。
• 文脈的類似度を活用して位置情報の暗黙的符号化を行い、局所的特徴の整合性を向上させる。
• 事前学習されたバックボーンを保持したまま、線形ヘッドのみを訓練することで、効率的な適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き異常ペアがなくても、対照的学習を工業的欠陥検出に効果的に適用できるか？
• RQ2 特徴類似度から導出される偽ラベルは、データ量が少ない状況での表現学習をどのように改善するか？
• RQ3 単純な線形ヘッドによる微調整で、データ拡張なしに優れた異常検出性能を達成できるか？
• RQ4 文脈的類似度を組み込むことで、異常局所化における特徴の識別性はどの程度向上するか？
• RQ5 ReConPatchはMVTec ADやBTADなどのベンチマークデータセットで、最先端の手法を上回るか？

主な発見

• ReConPatchは、480×480の入力サイズを用いて、MVTec ADデータセットで画像レベルのAUROCが99.72%という最先端の性能を達成した。
• MVTec ADでは、異常セグメンテーションのAUROCがPatchCoreを0.86%上回り、98.36%（対象：97.5%）を達成した。
• BTADデータセットでは、画像レベルの異常検出で95.8%、ピクセルレベルのセグメンテーションで97.5%のAUROCを達成した。
• UMAPを用いた可視化により、ReConPatchがよりコンパクトで分離性の高い特徴空間を学習していることが確認された。正常サンプルは凝集し、異常サンプルは分離されている。
• 金属ナットやレザーなど多様なクラス、特に難易度の高いクラスにおいても、ノイズの多いマップでも正確な異常局所化を示した。
• $d'$識別性インデックスにより、正常と異常スコア分布の分離が向上していることが確認され、より良いメトリック学習が実現していることが示された。