[論文レビュー] ReContrast: Domain-Specific Anomaly Detection via Contrastive Reconstruction

Jia Guo, Shuai Lu+3 more|arXiv (Cornell University)|Jun 5, 2023

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

ReContrast は、ドメイン特化の異常検知のためにエンコーダとデコーダを共同最適化し、特徴再構成にコントラスト学習要素を埋め込むことで、事前学習済みの自然画像エンコーダから産業用および医療のUADタスクへの転送を改善します。

ABSTRACT

Most advanced unsupervised anomaly detection (UAD) methods rely on modeling feature representations of frozen encoder networks pre-trained on large-scale datasets, e.g. ImageNet. However, the features extracted from the encoders that are borrowed from natural image domains coincide little with the features required in the target UAD domain, such as industrial inspection and medical imaging. In this paper, we propose a novel epistemic UAD method, namely ReContrast, which optimizes the entire network to reduce biases towards the pre-trained image domain and orients the network in the target domain. We start with a feature reconstruction approach that detects anomalies from errors. Essentially, the elements of contrastive learning are elegantly embedded in feature reconstruction to prevent the network from training instability, pattern collapse, and identical shortcut, while simultaneously optimizing both the encoder and decoder on the target domain. To demonstrate our transfer ability on various image domains, we conduct extensive experiments across two popular industrial defect detection benchmarks and three medical image UAD tasks, which shows our superiority over current state-of-the-art methods.

研究の動機と目的

• Frozen ImageNet エンコーダのターゲット UAD ドメイン（産業/医療）への転送性の不良を解消する。
• コントラスト再構成を用いたエンコーダとデコーダのエンドツーエンド訓練を提案し、自然画像へのバイアスを低減する。
• 特徴再構成にコントラスト学習要素（グローバルコサイン距離、ストップグラデント、二視点表現）を組み込む。
• 難度マイニングと augmentation-free コントラスト対を用いて訓練の不安定性とパターン崩壊を緩和する。
• 産業および医療の UAD ベンチマークにおいて優れた性能を示す。

提案手法

• 特徴再構成ベースライン（RD4AD）から出発し、訓練に三つのコントラスト学習風要素を統合する。
• 点ごとの対応を維持しつつ GAP を模倣するグローバルコサイン距離目的を導入する。
• グローバルコサイン損失にストップグラデントを適用し、特徴マップレベルの崩壊を防ぐ。
• 画像拡張なしでドメイン適応エンコーダと凍結エンコーダを用いてクロスビュー再構成を形成する二視点表現を作成する。
• 難度マイニング戦略（L_global-hm）を追加し、難易度の高い通常領域에対する訓練を強化し、エピステミックと内的誤差の差を広げる。
• トリビアルな解を回避しつつ、ターゲットドメインに適応するようエンコーダとデコーダのエンドツーエンド最適化を実証する。

Figure 1: Comparison of architectures. (a) Contrastive learning [ 16 ; 17 ] . (b) Feature reconstruction UAD [ 2 ; 9 ] . (c) Proposed ReContrast. Two decoders share the same weights. z is the output of encoder. q is the output of predictor or decoder. z’ and q’ is another view of z and q, respective

実験結果

リサーチクエスチョン

• RQ1 エンコーダとデコーダのエンドツーエンド最適化は、事前学習済み自然画像特徴とターゲット UAD ドメイン間のドメインギャップを克服できるか。
• RQ2 グローバル対地域的コサイン距離目的は、訓練の安定性と異常検知性能にどのように影響するか。
• RQ3 ストップグラデントとaugmentation-freeコントラスト対を組み込むことでパターン崩壊を防ぎ、転送性は改善されるか。
• RQ4 ハード通常マイニングは UAD におけるエピステミックと内部再構成誤差の分離を改善するか。

主な発見

• 産業 UAD で高い画像レベル AUROC を達成: MVTec AD での I-AUROC が 99.5%、従来の最高誤差を約半分に削減（相対 0.5% へ）。
• MVTec AD で P-AUROC および AUPRO 指標で最先端の異常セグメンテーションを達成（AUPRO 95.2%）。
• VisA で I-AUROC 97.5% を達成（SOTA を 1.5% 上回る）かつ AUPRO 92.6%（PatchCore を 1.3–1.4% 上回る）。
• 統一的マルチクラス設定で MVTec AD の I-AUROC が 98.2%（UniAD の 96.5% に対して）および VisA が 95.1%（RD4AD ベースラインの UniAD 91.5% に対して）を達成。
• 医用画像の結果は APTOS、OCT2017、ISIC2018 のデータセットで最高または競合的な性能を示し、ドメイン横断適応性を実証。

Figure 2: From RD4AD to ReContrast. (a) Training configurations. (b) Calculation of anomaly map. The calculation and optimization of regional and global cosine distance is presented in Figure 3 .