[논문 리뷰] Optimizing PatchCore for Few/many-shot Anomaly Detection

João Santos, Triet Tran외 1명|arXiv (Cornell University)|2023. 07. 20.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 하이퍼파ram터 튜닝과 도메인 인식 데이터 증강 기법을 적용하여 최신 이상 탐지 모델인 PatchCore를 소수의 샘플 및 많은 샘플 설정에서 최적화한다. VisA 데이터셋에서 새로운 최고 성능을 기록했으며, CVPR 2023 VAND 챌린지에서 1등을 차지하여, 기존 모델을 적응시키는 것이 저데이터 환경에서 새로 설계된 방법보다도 뛰어난 성능을 낼 수 있음을 보여준다.

ABSTRACT

Few-shot anomaly detection (AD) is an emerging sub-field of general AD, and tries to distinguish between normal and anomalous data using only few selected samples. While newly proposed few-shot AD methods do compare against pre-existing algorithms developed for the full-shot domain as baselines, they do not dedicatedly optimize them for the few-shot setting. It thus remains unclear if the performance of such pre-existing algorithms can be further improved. We address said question in this work. Specifically, we present a study on the AD/anomaly segmentation (AS) performance of PatchCore, the current state-of-the-art full-shot AD/AS algorithm, in both the few-shot and the many-shot settings. We hypothesize that further performance improvements can be realized by (I) optimizing its various hyperparameters, and by (II) transferring techniques known to improve few-shot supervised learning to the AD domain. Exhaustive experiments on the public VisA and MVTec AD datasets reveal that (I) significant performance improvements can be realized by optimizing hyperparameters such as the underlying feature extractor, and that (II) image-level augmentations can, but are not guaranteed, to improve performance. Based on these findings, we achieve a new state of the art in few-shot AD on VisA, further demonstrating the merit of adapting pre-existing AD/AS methods to the few-shot setting. Last, we identify the investigation of feature extractors with a strong inductive bias as a potential future research direction for (few-shot) AD/AS.

연구 동기 및 목표

• 기존의 전체 샘플 이상 탐지 방법인 PatchCore가 하이퍼파ram터 최적화를 통해 소수 및 다수 샘플 설정에서 향상될 수 있는지 조사하기 위해.
• 감독 학습에서 유래한 데이터 증강 기법이 소수/다수 샘플 이상 탐지에서 효과적인지 평가하기 위해.
• 역학적 인도적 편향(예: 이동 등변성)이 저데이터 환경에서 성능 향상에 기여하는지 탐색하기 위해.
• VisA 벤치마크에서 소수 샘플 이상 탐지의 새로운 최고 성능를 확립하기 위해.
• 소수/다수 샘플 설정을 위한 재현 가능한 최적화된 PatchCore 구현을 제공하기 위해.

제안 방법

• VisA 및 MVTec AD 데이터셋을 대상으로 철저한 분석을 통해 특징 추출기 아키텍처와 입력 해상도에 중점을 두어 PatchCore의 하이퍼파ram터 최적화를 수행한다.
• 도메인에 맞는 튜닝을 통해 이미지 수준의 데이터 증강(예: 색상 왜곡, 무작위 컷)을 적용하여 저샘플 환경에서의 일반화 성능을 향상시킨다.
• 이동 등변성을 강제로 구현하기 위해 안티앨리asing 레이어를 통합하여 CNN 백본의 인도적 편향을 증가시킨다.
• 메모리 백업 크기를 줄이기 위해 게으른 코어셋 서브샘플링을 사용하여 성능 저하 없이 메모리 효율성을 확보한다.
• 최적화된 구성 요소들을 통합하여 소수 샘플 이상 탐지용 단일 통합형 엔드 투 엔드 파이프라인을 구축한다.
• 최적화된 설정을 적용한 PatchCore의 재구현 및 벤치마킹을 수행하며, 표준 지표(AUROC)를 사용해 기존 최고 성능(SoTA) 방법과 비교한다.

실험 결과

연구 질문

• RQ1 PatchCore의 하이퍼파라미터 튜닝이 소수 및 다수 샘플 이상 탐지 성능에 뚜렷한 향상을 가져올 수 있는가?
• RQ2 감독 학습에서 유래한 데이터 증강 기법이 이상 탐지 도메인에 맞게 철저히 설계된다면 소수 샘플 이상 탐지 성능을 향상시킬 수 있는가?
• RQ3 안티앨리징 또는 등변성과 같은 방식으로 특징 추출기의 인도적 편향을 증가시키면 저데이터 환경에서 성능 향상이 이루어지는가?
• RQ4 최적화로 얻는 성능 향상이 소수 샘플 이상 탐지에서 기존 최고 성능 방법을 뛰어넘을 수 있는가?
• RQ5 코어셋 서브샘플링을 통해 메모리 프로필을 줄일 수 있는가, 이는 소수 샘플 설정에서 성능 저하 없이 가능한가?

주요 결과

• 특징 추출기와 입력 해상도 최적화로 인해 성능 향상이 뚜렷하게 발생하였으며, MVTec AD에서 4샷일 때 평균 AUROC가 88.7%로 향상되었고, VisA에서도 4샷일 때 86.4%를 기록하였다.
• 도메인에 맞게 튜닝된 이미지 수준의 증강 기법은 소수 샘플 성능 향상에 기여했지만, 부적절한 적용은 결과를 악화시켰으며, 이는 도메인 인식 설계의 중요성을 강조한다.
• 이동 등변성을 강제로 구현하는 안티앨리징 레이어가 성능 향상에 기여하여, 저데이터 환경에서 특징 추출기의 더 강력한 인도적 편향이 유리함을 시사한다.
• 게으른 코어셋 서브샘플링을 통해 메모리 백업 크기를 줄일 수 있었고, 성능 저하 없이 효율적인 추론이 가능하면서도 정확도를 유지하였다.
• 최적화된 PatchCore 모델은 소수 샘플 설정에서 VisA 데이터셋에서 새로운 최고 성능를 달성하였으며, 이는 이전 최고 성능 방법을 초월하였다.
• 이 방법은 CVPR 2023 VAND 챌린지의 소수 샘플 이상 탐지 트랙에서 1등을 차지하여 실세계 적용 가능성도 검증되었다.