[논문 리뷰] Novelty Detection with GAN

Mark Kliger, Shachar Fleishman|arXiv (Cornell University)|2018. 02. 28.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 35

한 줄 요약

이 논문은 실제 정상 데이터와 생성된 비정상 데이터의 혼합에 대해 다중 클래스 판별자 모델을 훈련시켜 동시에 이미지 분류와 비정상성 탐지 기능을 수행하는 새로운 GAN 기반 프레임워크를 제안한다. 판별자는 최적의 비정상성 탐지기로 기능하며, 기존의 k-NN 및 최대 확률 임계치 기반 방법보다 뛰어난 성능을 보이며, 특히 도전적인 CIFAR-100 비정상 카테고리에서 뛰어난 성능을 발휘한다. ND-GAN은 특정 클래스에서 최대 AUROC 점수 0.893을 기록한다.

ABSTRACT

The ability of a classifier to recognize unknown inputs is important for many classification-based systems. We discuss the problem of simultaneous classification and novelty detection, i.e. determining whether an input is from the known set of classes and from which specific class, or from an unknown domain and does not belong to any of the known classes. We propose a method based on the Generative Adversarial Networks (GAN) framework. We show that a multi-class discriminator trained with a generator that generates samples from a mixture of nominal and novel data distributions is the optimal novelty detector. We approximate that generator with a mixture generator trained with the Feature Matching loss and empirically show that the proposed method outperforms conventional methods for novelty detection. Our findings demonstrate a simple, yet powerful new application of the GAN framework for the task of novelty detection.

연구 동기 및 목표

• 기존 모델이 인식하지 못하는 알려지지 않은 입력을 탐지할 수 있는 분류 시스템의 필수적인 요구사항을 해결한다.
• 고차원 데이터에서 성능이 급격히 떨어지거나 배경 클래스 샘플링에 비용이 많이 들기 때문에 기존 비정상성 탐지 방법의 한계를 극복한다.
• 공유된 특징 학습을 통해 성능 향상과 시스템 복잡성 감소를 달성하기 위해 비정상성 탐지 기능을 분류 파이프라인에 직접 통합한다.
• 수동으로 수집된 배경 클래스 데이터가 필요 없도록, GAN 훈련 중에 비정상 예제를 생성함으로써 이를 제거한다.
• 이론적으로 조건이 충족될 경우, 정상 및 합성 비정상 데이터의 혼합에 대해 훈련된 GAN 판별자가 최적의 비정상성 탐지기로 기능함을 증명한다.

제안 방법

• K개의 알려진 클래스 또는 '가짜'(비정상)로 분류하는 다중 클래스 GAN을 훈련시켜 동시에 분류 및 비정상성 탐지 기능을 수행한다.
• 훈련 중에 정상 데이터 분포와 학습된 비정상 데이터 분포에서 샘플을 생성하는 혼합 생성자 모델을 사용한다.
• 특징 매칭 손실을 사용하여 이상적인 혼합 생성자를 근사함으로써, 데이터 다양체의 저밀도 영역에서 샘플을 생성하도록 생성자 모델을 유도한다.
• 추론 단계에서는 판별자의 K+1개 클래스 확률을 사용해 입력을 분류하고, 최상위 클래스가 '가짜'(비정상)일 경우 입력을 비정상으로 표시한다.
• 판별자의 결정 경계를 비정상성 탐지기로 활용하며, 이는 주어진 거짓 경고 비율에 대해 이론적으로 최적임을 입증한다.
• 표준 GAN 목적함수를 사용해 모델을 엔드 투 엔드로 훈련하며, 생성자는 판별자를 도전할 수 있는 현실적인 비정상 유사 샘플을 학습한다.

실험 결과

연구 질문

• RQ1 명시적인 배경 클래스 데이터 수집 없이도 GAN 기반 프레임워크가 비정상 입력을 효과적으로 탐지할 수 있는가?
• RQ2 실제 정상 데이터와 생성된 비정상 데이터의 혼합에 대해 훈련된 다중 클래스 판별자가 이론적 조건 하에서 최적의 비정상성 탐지기인가?
• RQ3 제안된 ND-GAN 방법의 성능은 기존의 비정상성 탐지 기준(예: k-NN, 엔트로피, 최대 확률 임계치)과 비교해 어떻게 되는가?
• RQ4 생성자가 저밀도 영역에서 샘플을 생성할 수 있는 능력이 판별자의 비정상성 탐지 능력을 향상시키는가?
• RQ5 CIFAR-10과 CIFAR-100과 같은 다양한 복잡한 데이터셋 간에 제안된 방법이 일반화 가능한가?

주요 결과

• ND-GAN 방법은 CIFAR-10 vs. CIFAR-100 비정상성 탐지 벤치마크에서 최고 성능을 기록하며, '나무' 굵은 카테고리에서 최대 AUROC 점수 0.893을 기록한다.
• CIFAR-100 굵은 카테고리 20개 중 13개에서 모든 기준 방법보다 뛰어난 성능을 보이며, 5-NN 및 최대 확률 임계치 방법을 포함한다.
• 모든 20개의 CIFAR-100 굵은 카테고리에서 균형 잡힌 AUROC 점수 0.971을 기록하며, 5-NN(0.924) 및 최대 확률(0.958)을 모두 초월한다.
• 이론적 분석을 통해 정상 데이터와 비정상 데이터의 혼합에 대해 훈련된 다중 클래스 판별자는 주어진 거짓 경고 비율에 대해 최적의 비정상성 탐지기임을 입증한다.
• 특징 매칭 손실의 사용은 이상적인 혼합 생성자를 효과적으로 근사함으로써 저밀도 영역에서의 샘플 생성을 가능하게 하여 탐지기의 일반화 능력을 향상시킨다.
• 실증 결과는 제안된 프레임워크가 높은 비용이 드는 배경 클래스 샘플링에 의존도를 줄이면서도 탐지 정확도를 유지하거나 향상시킴을 보여준다.