[논문 리뷰] ReContrast: Domain-Specific Anomaly Detection via Contrastive Reconstruction

Jia Guo, Shuai Lu외 3명|arXiv (Cornell University)|2023. 06. 05.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

ReContrast는 도메인 특화 이상 탐지를 위해 엔코더와 디코더를 공동으로 최적화하고 특징 재구성에 대비 학습 요소를 삽입하여 사전 학습된 자연 이미지 인코더에서 산업 및 의료 UAD 작업으로의 전달을 개선합니다.

ABSTRACT

Most advanced unsupervised anomaly detection (UAD) methods rely on modeling feature representations of frozen encoder networks pre-trained on large-scale datasets, e.g. ImageNet. However, the features extracted from the encoders that are borrowed from natural image domains coincide little with the features required in the target UAD domain, such as industrial inspection and medical imaging. In this paper, we propose a novel epistemic UAD method, namely ReContrast, which optimizes the entire network to reduce biases towards the pre-trained image domain and orients the network in the target domain. We start with a feature reconstruction approach that detects anomalies from errors. Essentially, the elements of contrastive learning are elegantly embedded in feature reconstruction to prevent the network from training instability, pattern collapse, and identical shortcut, while simultaneously optimizing both the encoder and decoder on the target domain. To demonstrate our transfer ability on various image domains, we conduct extensive experiments across two popular industrial defect detection benchmarks and three medical image UAD tasks, which shows our superiority over current state-of-the-art methods.

연구 동기 및 목표

• 동결된 ImageNet 인코더가 대상 UAD 도메인(산업/의료)으로 전달하는 전이성의 저하를 해결한다.
• 자연 이미지에 대한 편향을 줄이기 위해 대비 재구성과 함께 엔코더와 디코더의 엔드-투-엔드 학습을 제안한다.
• 특징 재구성에 대비 학습 요소(글로벌 코사인 거리, stop-gradient, 두 뷰 표현)를 통합한다.
• 하드-마이닝과 증강-없는 대비 쌍을 통해 학습 불안정성과 패턴 붕괴를 완화한다.
• 산업 및 의료 UAD 벤치마크 전반에서 우수한 성능을 입증한다.

제안 방법

• 특징 재구성 기반(RD4AD)에서 시작하여 학습에 대비 학습에서 영감을 받은 세 가지 요소를 통합한다.
• 점별 대응 관계를 유지하면서 GAP를 모방하기 위해 글로벌 코사인 거리 목적 함수를 도입한다.
• 특징 맵 수준 붕괴를 방지하기 위해 글로벌 코사인 손실에 stop-gradient를 적용한다.
• 도메인에 적응된 인코더와 동결된 인코더를 사용하여 증강 없이 두 뷰 표현을 만들어 교차 뷰 재구성을 형성한다.
• 하드-마이닝 전략(L_global-hm)을 추가하여 hard-normal 영역에 학습을 집중시키고 인식 가능한 불확실성와 내재적 오류 간의 차이를 확장한다.
• 대상 도메인에 적응하기 위해 엔코더와 디코더의 엔드-투-엔드 최적화를 시연하되 사소한 솔루션을 피한다.

Figure 1: Comparison of architectures. (a) Contrastive learning [ 16 ; 17 ] . (b) Feature reconstruction UAD [ 2 ; 9 ] . (c) Proposed ReContrast. Two decoders share the same weights. z is the output of encoder. q is the output of predictor or decoder. z’ and q’ is another view of z and q, respective

실험 결과

연구 질문

• RQ1 사전 학습된 자연 이미지 특징과 대상 UAD 도메인 간의 도메인 격차를 엔코더와 디코더의 엔드-투-엔드 최적화가 극복할 수 있는가?
• RQ2 글로벌 대 지역 코사인 거리 목적 함수가 학습 안정성과 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ3 stop-gradient와 augmentation-free 대비 쌍의 도입이 패턴 붕괴를 방지하고 전달성을 향상시키는가?
• RQ4 hard-normal 마이닝이 UAD에서 모호도와 내재적 재구성 오류 간의 구분을 개선하는가?

주요 결과

• 산업 UAD에서 높은 이미지 수준 AUROC를 달성: MVTec AD에서 99.5% I-AUROC, 이전 최고 오차를 약 절반으로 감소시킴(상대 0.5%로).
• P-AUROC 및 AUPRO 지표로 MVTec AD에서 최첨단 이상 세분화 성능 달성(AUPRO 95.2%).
• VisA에서 I-AUROC 97.5% 달성(SOTA 대비 1.5% 우수) 및 AUPRO 92.6%(PatchCore 대비 1.3–1.4% 우수).
• 다중 클래스 설정에서 MVTec AD의 I-AUROC 98.2%( UniAD 96.5% 대비) 및 VisA의 95.1%( RD4AD 기준 UniAD 91.5% 대비) 달성.
• 의료 영상 데이터셋(APTOS, OCT2017, ISIC2018)에서 최고 또는 경쟁력 있는 성능을 보여 교차 도메인 적응력을 입증한다.

Figure 2: From RD4AD to ReContrast. (a) Training configurations. (b) Calculation of anomaly map. The calculation and optimization of regional and global cosine distance is presented in Figure 3 .