[論文レビュー] Contrastive Predictive Coding for Anomaly Detection

Puck de Haan, Sindy Löwe|arXiv (Cornell University)|Jul 16, 2021

Anomaly Detection Techniques and Applications参考文献 28被引用数 14

ひとこと要約

この論文では、画像の異常検出およびセグメンテーションのための、対照学習に基づくCPC-ADを提案する。CPC（対照的予測コーディング）のInfoNCE損失を直接異常スコアとして用いることで、事前学習モデルや人工的な拡張を必要とせず、MVTec-ADで最先端の検出性能を達成するとともに、解釈可能なセグメンテーションマスクを生成する。

ABSTRACT

Reliable detection of anomalies is crucial when deploying machine learning models in practice, but remains challenging due to the lack of labeled data. To tackle this challenge, contrastive learning approaches are becoming increasingly popular, given the impressive results they have achieved in self-supervised representation learning settings. However, while most existing contrastive anomaly detection and segmentation approaches have been applied to images, none of them can use the contrastive losses directly for both anomaly detection and segmentation. In this paper, we close this gap by making use of the Contrastive Predictive Coding model (arXiv:1807.03748). We show that its patch-wise contrastive loss can directly be interpreted as an anomaly score, and how this allows for the creation of anomaly segmentation masks. The resulting model achieves promising results for both anomaly detection and segmentation on the challenging MVTec-AD dataset.

研究の動機と目的

• ラベル付きの異常データが乏しい実世界の応用における教師なし異常検出の課題に対処すること。
• 対照学習と画像におけるエンドツーエンドの異常検出・セグメンテーションのギャップを埋めること。
• 対照損失を異常スコアおよびセグメンテーションマスクの根拠として直接利用可能にすること。
• データセット固有のデータ拡張や事前学習モデルに依存しない汎用的な手法を開発すること。
• CPCのピクセル単位の対照損失を、異常検出および局所化の両方の目的に再利用可能であることを示すこと。

提案手法

• 本手法は、画像内のピクセル単位の表現を用いて対照学習を実行する対照的予測コーディング（CPC）フレームワークを採用する。
• ポジティブおよびネガティブなピクセルペア間のInfoNCE損失を、各ピクセルに対して直接異常スコアとして解釈する。
• 推論時において、ネガティブサンプルを再構成し、異常ピクセルがポジティブセットにのみ含まれるようにすることで、検出感度を向上させる。
• CPCの自己回帰的構成要素を削除することで、モデルを単純化し、異常検出のための表現学習に焦点を当てる。
• 重複するピクセル領域の平均化を用いて、ピクセル単位の解像度にまでスケーリングすることで、異常セグメンテーションマスクを生成する。
• 人工的な異常や事前学習を一切用いずに、正常データのみで学習を開始する。

実験結果

リサーチクエスチョン

• RQ1 CPCの対照損失を画像レベルの異常検出のための直接的な異常スコアとして使用できるか？
• RQ2 同じ対照損失を用いて、正確なピクセルレベルの異常セグメンテーションマスクを生成できるか？
• RQ3 CPC-ADは、MVTec-ADベンチマークにおいて、検出およびセグメンテーションの両面で最先端の手法と比較してどの程度の性能を示すか？
• RQ4 自己回帰的構成要素を削除し、ネガティブサンプルの再構成を施すことで、異常検出性能が向上するか？
• RQ5 事前学習やデータ拡張なしに、スクラッチから学習した自己教師付き対照モデルが、競争力のある結果を達成できるか？

主な発見

• CPC-ADはMVTec-ADのテストセットで平均AUROC 0.901を達成し、カーネル密度推定法や自己符号化器ベースラインを上回った。
• ボトルクラスではAUROC 0.998を達成し、このクラスでCutPasteモデルを上回った。
• 異常セグメンテーションにおいては、AnoGANのようなGANベースの手法を上回り、他の自己符号化器および対照学習ベースラインと同等または上回った。
• 一部のクラス（例：カーペットでAUROC 0.809）ではセグメンテーションスコアが低かったが、背景ノイズが最小限で、視覚的に正確なマスクを生成した。
• 織り目が豊富なクラスでは特に優れた性能を示し、構造的変動に対して頑健であることが示された。
• 本手法は汎用的であり、データセット固有のデータ拡張や事前学習モデルを必要としないため、CutPasteのような手法よりも広く適用可能である。