[논문 리뷰] Industrial Anomaly Detection and Localization Using Weakly-Supervised Residual Transformers

Hanxi Li, Jingqi Wu외 5명|arXiv (Cornell University)|2023. 06. 06.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 블록 단위 분류와 위치 제약이 있는 패치 매칭 잔차, 그리고 슬라이딩 비전 트랜스포머를 사용하여 MVTec-AD에서 최신 기술 수준 성능을 달성하면서도 상당히 감소된 주석 비용을 실현하는 약한 지도 학습 기반 이상 탐지 및 국소화 프레임워크인 SemiREST를 제안한다. 이는 모든 이전 방법보다 뛰어나며, 비지도 학습 설정에서 81.2% AP, 지도 학습 설정에서 84.4% AP를 기록한다. 또한 오직 경계 상자 주석만으로도 완전한 지도 학습 기반 최신 기술 수준 성능을 초월한다.

ABSTRACT

Recent advancements in industrial anomaly detection (AD) have demonstrated that incorporating a small number of anomalous samples during training can significantly enhance accuracy. However, this improvement often comes at the cost of extensive annotation efforts, which are impractical for many real-world applications. In this paper, we introduce a novel framework, Weak}ly-supervised RESidual Transformer (WeakREST), designed to achieve high anomaly detection accuracy while minimizing the reliance on manual annotations. First, we reformulate the pixel-wise anomaly localization task into a block-wise classification problem. Second, we introduce a residual-based feature representation called Positional Fast Anomaly Residuals (PosFAR) which captures anomalous patterns more effectively. To leverage this feature, we adapt the Swin Transformer for enhanced anomaly detection and localization. Additionally, we propose a weak annotation approach, utilizing bounding boxes and image tags to define anomalous regions. This approach establishes a semi-supervised learning context that reduces the dependency on precise pixel-level labels. To further improve the learning process, we develop a novel ResMixMatch algorithm, capable of handling the interplay between weak labels and residual-based representations. On the benchmark dataset MVTec-AD, our method achieves an Average Precision (AP) of $83.0\%$, surpassing the previous best result of $82.7\%$ in the unsupervised setting. In the supervised AD setting, WeakREST attains an AP of $87.6\%$, outperforming the previous best of $86.0\%$. Notably, even when using weaker annotations such as bounding boxes, WeakREST exceeds the performance of leading methods relying on pixel-wise supervision, achieving an AP of $87.1\%$ compared to the prior best of $86.0\%$ on MVTec-AD.

연구 동기 및 목표

• 산업적 이상 탐지에서 높은 주석 비용 문제를 해결하면서도 정확도를 유지하거나 향상시키기 위해.
• 픽셀 단위 세분화에 대한 의존도를 줄이기 위해 이상 국소화 문제를 블록 단위 이진 분류 문제로 재정의하기 위해.
• 이상 영역에 대한 경계 상자 주석만을 사용하여 효과적인 준지도 학습을 가능하게 하기 위해.
• 약한 레이블에서 얻은 비라벨 영역을 효과적으로 활용하는 새로운 준지도 학습 기반 기법을 개발하기 위해.
• 최소한의 감독 정보로 MVTec-AD, BTAD, KSDD2에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 위치 제약이 있는 패치 매칭(PCA) 메커니즘이 테스트 및 기준 패치 간 잔차를 생성하여 공간적 정렬을 유지함으로써 이상 감지에 민감도를 향상시킨다.
• 이상 탐지 작업이 블록 단위 이진 분류 문제로 재정의되며, 각 블록은 정상, 양성(이상), 또는 무시(비라벨)로 레이블링되어 주석 부담이 감소된다.
• 슬라이딩 비전 트랜스포머(Swin Transformer)가 이러한 블록 수준의 특징을 처리하여 높은 공간 정밀도로 이상 점수를 예측한다.
• 여러 개의 Swin Transformer 헤드에 걸친 백킹 전략이 예측 파이프라인의 강건성과 일반화 능력을 향상시킨다.
• 맞춤형 MixMatch 기반 준지도 학습 기법이 경계 상자 주석에서 유래한 비라벨 영역을 활용하며, 두 가지 새로운 데이터 증강 기법인 K-NN 기반 증강과 무작위 드롭아웃을 사용한다.
• 비지도 및 준지도 학습 환경에서는 잔차에 대한 제곱 거리 함수를 사용하여 더 나은 특징 선택을 하며, 실제 이상이 존재할 경우 절대 차이를 사용한다.

실험 결과

연구 질문

• RQ1 블록 단위 분류가 정확도를 희생시키지 않고 이상 탐지의 주석 비용을 줄일 수 있는가?
• RQ2 위치 제약이 있는 패치 매칭에서 유도된 잔차만을 사용하여 슬라이딩 비전 트랜스포머가 효과적으로 이상을 국소화할 수 있는가?
• RQ3 경계 상자 주석만을 사용한 준지도 학습이 완전 지도 학습 수준의 성능을 달성할 수 있는가?
• RQ4 맞춤형 MixMatch 기법이 약한 지도 학습 기반 이상 탐지에서 비라벨 영역을 효과적으로 활용할 수 있는가?
• RQ5 제안된 방법이 비지도 및 준지도 학습 설정 모두에서 기존 최신 기술 수준 성능을 초월할 수 있는가?

주요 결과

• SemiREST는 비지도 학습 설정에서 MVTec-AD에서 81.2% 평균 정밀도(AP)를 기록하여 이전 최신 기술 수준 성능인 75.8% AP를 초월한다.
• 완전 지도 학습 설정에서 SemiREST는 84.4% AP를 기록하여 이전 최신 기술 수준 성능인 78.6% AP를 초월한다.
• 오직 경계 상자 주석만으로도 SemiREST는 83.8% AP를 기록하며, 이는 이전 최신 기술 수준 성능의 완전한 픽셀 단위 세분화 지도 학습(78.6% AP)을 뛰어넘는다.
• 이 방법은 MVTec-AD, BTAD, KSDD2 세 가지 벤치마크 데이터셋에서 강력한 성능을 유지하여 일반화 능력을 입증한다.
• 절단 분석 결과, 각 구성 요소인 PCA, 백킹, K-NN 증강, MixMatch, 무작위 드롭아웃이 성능 향상에 기여하는 것으로 확인된다.
• 제곱 거리 함수는 특징 선택 성질 덕분에 비지도 및 준지도 학습 설정에서 절대 차이보다 성능이 뛰어나다.