[논문 리뷰] Explicit Boundary Guided Semi-Push-Pull Contrastive Learning for Supervised Anomaly Detection

Xincheng Yao, Ruoqi Li외 3명|arXiv (Cornell University)|2022. 07. 04.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 한정된 알려진 이상 현상으로 인한 편향을 줄이고 모델의 구분 능력을 향상시키기 위해 명시적 경계 가이던스와 반-푸시-풀 대비 손실을 사용하는 새로운 지도 기반 이상 탐지 방법 BGAD를 제안한다. 정규화된 정상 특징 분포를 학습하여 밀도가 높은 분리 경계를 정의하고, 경계를 기반으로 한 손실을 적용하여 정상 특징는 가까이 모으고, 비정상 특징는 경계를 초과하는 마진만큼 밀어내어 명확한 분리 구조를 확보한다. BGAD는 MVTec AD에서 카테고리별로 AUROC 및 PRO에서 +2.5%에서 +8.6%까지 향상되며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most anomaly detection (AD) models are learned using only normal samples in an unsupervised way, which may result in ambiguous decision boundary and insufficient discriminability. In fact, a few anomaly samples are often available in real-world applications, the valuable knowledge of known anomalies should also be effectively exploited. However, utilizing a few known anomalies during training may cause another issue that the model may be biased by those known anomalies and fail to generalize to unseen anomalies. In this paper, we tackle supervised anomaly detection, i.e., we learn AD models using a few available anomalies with the objective to detect both the seen and unseen anomalies. We propose a novel explicit boundary guided semi-push-pull contrastive learning mechanism, which can enhance model's discriminability while mitigating the bias issue. Our approach is based on two core designs: First, we find an explicit and compact separating boundary as the guidance for further feature learning. As the boundary only relies on the normal feature distribution, the bias problem caused by a few known anomalies can be alleviated. Second, a boundary guided semi-push-pull loss is developed to only pull the normal features together while pushing the abnormal features apart from the separating boundary beyond a certain margin region. In this way, our model can form a more explicit and discriminative decision boundary to distinguish known and also unseen anomalies from normal samples more effectively. Code will be available at https://github.com/xcyao00/BGAD.

연구 동기 및 목표

• 단지 정상 샘플에 의존하는 비지도 이상 탐지 모델의 구분 능력 부족 문제를 해결하기 위해.
• 제한된 알려진 이상 현상에 과적합되는 문제를 완화하기 위해.
• 학습 중에 소수의 알려진 이상 현상을 효과적으로 활용하여 미리 보지 않은 이상 현상으로의 일반화 능력을 향상시키기 위해.
• 정상과 비정상 샘플을 명확히 분리할 수 있는 더 명시적이고 신뢰할 수 있는 결정 경계를 개발하기 위해.
• 가짜 이상 현상 생성을 통해 희귀한 이상 현상 상황에서의 특징 학습 효율성을 향상시키기 위해.

제안 방법

• 정상 특징 분포를 정규화하는 정상 흐름(normalizing flows)을 사용하여, 초수치 파rameter β에 기반한 명시적이고 밀도가 높은 분리 경계를 유도한다.
• 정상 특징는 경계 이하의 로그우도를 가진 경우에만 가까이 모으는 경계 가이던스 반-푸시-풀(BG-SPP) 대비 손실을 도입한다.
• 경계 이상의 로그우도를 가진 비정상 특징는 정의된 마진을 초과하여 경계에서 밀어내지며, 명확한 분리를 보장한다.
• 반-푸시-풀 메커니즘은 모든 비정상 특징을 완전히 밀지 않아 과적합 위험을 줄이고 정상 특징의 밀도 유지에 기여한다.
• 가짜 이상 현상 생성 전략으로 랜덤어울먼트(RandAugment) 기반 기법을 사용하여 정상 샘플 내 국소적 비정상성을 시뮬레이션하며, 실제 이상 현상의 희귀성 문제를 해결한다.
• BG-SPP 손실을 통해 엔드 투 엔드로 모델을 훈련시켜, 구분 능력 있는 특징 학습을 가능하게 하면서도 예측 불가능한 이상 현상에 대한 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 정상 분포 기반의 명시적 분리 경계는 이상 탐지 모델의 구분 능력을 향상시킬 수 있는가?
• RQ2 반-푸시-풀 대비 손실 메커니즘은 알려진 이상 현상으로 인한 편향을 줄이고, 예측 불가능한 이상 현상으로의 일반화 능력을 향상시키는가?
• RQ3 기존의 대비 학습과 비교했을 때, 명시적 경계 가이던스는 이상 탐지 벤치마크에서 AUROC 및 PRO 지표에서 어떻게 성능을 내는가?
• RQ4 가짜 이상 현상 생성은 데이터가 적은 이상 현상 상황에서 특징 학습을 얼마나 향상시킬 수 있는가?
• RQ5 쉬운 서브셋으로 훈련된 경우에도, 어려운 예측 불가능한 이상 서브셋에서 높은 성능을 유지할 수 있는가?

주요 결과

• MVTec AD 데이터셋에서 BGAD는 기준선인 NFAD 대비 이미지 AUROC에서 2.5% 상승(0.992 대비 0.968)을 기록한다.
• 어려운 서브셋에서 BGAD는 효과적으로 일반화되며, 단지 쉬운 이상 현상로만 훈련된 상태에서도 PRO에서 6.7% 상승(0.930 대비 0.863)을 달성한다.
• BG-SPP 손실은 전체 밀기 변형(BGAD†)보다 성능이 뛰어나며, 특히 Capsule 및 Transistor와 같은 복잡한 카테고리에서 과적합 문제로 인한 저하를 피한다.
• 시각화 결과 BGAD는 모호한 로그우도 영역를 감소시키고, 비지도 또는 편향된 지도 기반 방법보다 더 구분 능력 있는 특징 분포를 생성한다.
• BGAD가 생성한 이상 현상 정렬 맵은 일부 경우에서 지표보다 더 정확하여 뛰어난 정렬 능력을 입증한다.
• BGAD는 MVTec AD 벤치마크에서 이미지 AUROC, 픽셀 AUROC, PRO 등 평가된 모든 지표에서 최신 기술 수준의 성능을 달성한다.