[논문 리뷰] Deep One-Class Classification via Interpolated Gaussian Descriptor

Yuanhong Chen, Yu Tian외 2명|arXiv (Cornell University)|2021. 01. 25.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 정상성 기술의 정확도를 향상시키기 위해 적대적으로 보간된 샘플을 기반으로 가우시안 이상 탐지기 분류기를 훈련시켜 소규모 또는 오염된 훈련 세트에 대한 강건성을 향상시키는 새로운 일종 분류 모델인 보간 가우시안 기술(IGD)을 제안한다. IGD는 MNIST, CIFAR10, MVTec AD 및 의료 데이터셋을 포함한 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 분포 이탈 상황에서도 높은 탐지 정확도와 안정성을 확보한다.

ABSTRACT

One-class classification (OCC) aims to learn an effective data description to enclose all normal training samples and detect anomalies based on the deviation from the data description. Current state-of-the-art OCC models learn a compact normality description by hyper-sphere minimisation, but they often suffer from overfitting the training data, especially when the training set is small or contaminated with anomalous samples. To address this issue, we introduce the interpolated Gaussian descriptor (IGD) method, a novel OCC model that learns a one-class Gaussian anomaly classifier trained with adversarially interpolated training samples. The Gaussian anomaly classifier differentiates the training samples based on their distance to the Gaussian centre and the standard deviation of these distances, offering the model a discriminability w.r.t. the given samples during training. The adversarial interpolation is enforced to consistently learn a smooth Gaussian descriptor, even when the training data is small or contaminated with anomalous samples. This enables our model to learn the data description based on the representative normal samples rather than fringe or anomalous samples, resulting in significantly improved normality description. In extensive experiments on diverse popular benchmarks, including MNIST, Fashion MNIST, CIFAR10, MVTec AD and two medical datasets, IGD achieves better detection accuracy than current state-of-the-art models. IGD also shows better robustness in problems with small or contaminated training sets. Code is available at https://github.com/tianyu0207/IGD.

연구 동기 및 목표

• 훈련 데이터가 소규모이거나 이상치로 오염된 경우 최신 일종 분류(OCC) 모델에서의 과적합 문제를 해결하기 위해.
• 모서리나 이상치 샘플이 아닌 중심에 위치한 정상 샘플에 집중하여 더 강건하고 대표적인 정상성 기술을 학습하기 위해.
• 정상성 기술의 매끄러움과 일반화 성능을 보장하는 이론적으로 탄탄한 최적화 프레임워크를 개발하기 위해.
• 실제 산업 및 의료 적용에서 흔한 자원 부족과 오염 상황을 고려하여 OCC 모델의 강건성을 평가하기 위해.

제안 방법

• IGD는 표현 공간 내 정상 중심점과 거리의 표준편차를 기반으로 샘플을 평가하는 일종 가우시안 이상 탐지기 분류기를 도입한다.
• 정상 데이터 포인트 사이에 합성 훈련 샘플을 생성하기 위해 적대적 보간을 사용하여 학습된 정상성 기술의 매끄러움을 강제한다.
• 확률적 공식화로부터 유도된 기대값-최대화(EM) 알고리즘을 통해 최적화하여 정적 해에 수렴함을 보장한다.
• 표현 공간의 정규화를 추가로 강화하고 일반화 성능을 향상시키기 위해 다중 척도의 구조적 및 비구조적 이미지 재구성 손실을 통합한다.
• 모델이 단일 점으로 붕괴하지 않도록 하기 위해 의미 있는 다차원 정상성 기술 기술을 학습하도록 제약 조건을 설정한다.
• 보간 및 최적화 과정에서 대표적인 정상 샘플에 중점을 두어 데이터 오염 및 저샘플링 상황에 강건한 설계를 한다.

실험 결과

연구 질문

• RQ1 소규모 또는 오염된 훈련 세트가 존재할 경우 적대적 보간이 일종 분류기의 강건성을 향상시키는가?
• RQ2 거리와 분산 모델링을 포함한 가우시안 기반 이상 탐지기 분류기가 DSVDD와 같은 초구형 기반 모델보다 이상 탐지 정확도에서 뛰어나지 않는가?
• RQ3 보간된 가우시안 기술의 EM 기반 최적화가 일반화 성능 향상과 과적합 방지를 얼마나 효과적으로 개선하는가?
• RQ4 IGD는 분포 이탈 상황에서 이미지 분류, 산업 결함 탐지, 의료 영상 등 다양한 도메인에서 어떻게 성능을 발휘하는가?

주요 결과

• 1% 이상치 오염 상황에서 CIFAR10에서 IGD는 평균 테스트 AUC 0.8252를 기록하여 DSVDD(0.7502)와 DSVDD+REC(0.7694)를 앞서며 최신 기술 수준 성능 달성.
• 10% 오염 상황에서 MVTec AD에서 IGD는 AUC 0.9363을 기록하여 DSVDD(0.8175)와 DSVDD+REC(0.7687)를 크게 앞서며 뛰어난 성능 확보.
• CIFAR10 훈련 세트의 20%만으로도 IGD는 높은 성능(AUC ~0.81)을 유지하는 반면, DSVDD와 DSVDD+REC는 급격히 성능 저하.
• 오염 상황에서 IGD는 최대 1.3%(CIFAR10), 0.44%(MVTec)의 성능 변동을 보이며 안정성을 확보한 반면, DSVDD는 7.8%와 3.5%의 큰 변동을 보였다.
• 의료 데이터셋 및 고해상도 Hyper-Kvasir에서 IGD는 AUC 93.7%를 기록하여 CSI(91.6%)를 능가하고, 핵심 벤치마크에서 PANDA 및 DROC와 동등하거나 슈퍼리어한 성능 확보.
• IGD는 저자원 및 오염된 데이터 환경에서 뛰어난 강건성을 보이며, 실생활 산업 및 임상 적용에 적합한 모델로 입증됨.