[논문 리뷰] OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations

Pramuditha Perera, Ramesh Nallapati외 1명|arXiv (Cornell University)|2019. 03. 20.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 56

한 줄 요약

OCGAN은 제약된 잠재 공간과 이중 판별기를 갖춘 노이즈 제거 자동 인코더를 학습하여 모든 잠재 샘플이 이미 알려진 클래스에 해독되도록 강제함으로써 적대적 학습 및 정보성 음성 마이닝으로 효과적인 원-클래스 신규성 탐지를 가능하게 한다.

ABSTRACT

We present a novel model called OCGAN for the classical problem of one-class novelty detection, where, given a set of examples from a particular class, the goal is to determine if a query example is from the same class. Our solution is based on learning latent representations of in-class examples using a denoising auto-encoder network. The key contribution of our work is our proposal to explicitly constrain the latent space to exclusively represent the given class. In order to accomplish this goal, firstly, we force the latent space to have bounded support by introducing a tanh activation in the encoder's output layer. Secondly, using a discriminator in the latent space that is trained adversarially, we ensure that encoded representations of in-class examples resemble uniform random samples drawn from the same bounded space. Thirdly, using a second adversarial discriminator in the input space, we ensure all randomly drawn latent samples generate examples that look real. Finally, we introduce a gradient-descent based sampling technique that explores points in the latent space that generate potential out-of-class examples, which are fed back to the network to further train it to generate in-class examples from those points. The effectiveness of the proposed method is measured across four publicly available datasets using two one-class novelty detection protocols where we achieve state-of-the-art results.

연구 동기 및 목표

• 단일 클래스에서 학습된 모델이 때로는 클래스 외의 객체를 잘 재구성하는 잠재 공간 표현의 한계에 동기를 부여하고 이를 해결합니다.
• 잠재 공간 제약과 적대적 학습을 제안하여 모든 잠재 샘플이 오직 알려진 클래스만 재생성되도록 보장합니다.
• 노이즈 제거 자동 인코더, 두 개의 판별자(잠재 및 시각) 및 분류기를 결합한 엔드-투-엔드 학습 프레임워크를 개발합니다.
• 정보성 음성 샘플 채굴을 도입하여 잠재 공간에서 클래스 외와 같은 출력을 생성하는 영역에 대한 견고성을 향상시킵니다.]
• method([
• Use a denoising auto-encoder (En, De) with a tanh-activated encoder output to bound latent space to (-1,1)^d.
• 잠재 공간을 (-1,1)^d로 제한하기 위해 tanh 활성화 인코더 출력을 갖는 노이즈 제거 자동 인코더(En, De)를 사용합니다.
• Train a latent-space discriminator Dl to force latent representations of in-class data to follow a Uniform(-1,1)^d distribution.
• 잠재 공간 판별기 Dl을 학습시켜 클래스 내 데이터의 잠재 표현이 Uniform(-1,1)^d 분포를 따르도록 강제합니다.
• Introduce a visual discriminator Dv to ensure that images generated from random latent samples resemble the in-class data distribution.
• 무작위 잠재 샘플로 생성된 이미지가 클래스 내 데이터 분포를 닮도록 시각 판별기 Dv를 도입합니다.
• Add a classifier trained on reconstructions as positives and random-latent-generated images as negatives to identify informative-negative samples.
• 재구성으로 학습된 것을 양성으로, 무작위 잠재 샘플로 생성된 이미지를 음성으로 삼아 정보성-음성 샘플을 식별하는 분류기를 추가합니다.
• Implement an informative-negative mining procedure that uses classifier loss gradients to move in latent space toward regions likely to produce out-of-class images.
• 분류기 손실 그래디언트를 사용하여 잠재 공간에서 클래스 외 이미지를 생성할 가능성이 높은 영역으로 이동시키는 정보성-음성 채굴 절차를 구현합니다.
• Train in two iterative steps: (i) train classifier with fixed auto-encoder and discriminators, (ii) train auto-encoder and discriminators with informative-negative mining.
• 두 가지 반복 단계로 학습합니다: (i) 고정된 자동 인코더와 판별기로 분류기를 학습하고, (ii) 정보성-음성 채굴을 사용하여 자동 인코더와 판별기를 학습합니다.
• Leverage a composite loss: l_latent + l_visual for discriminators and l_mse + l_visual + l_latent for the generator, with a strong reconstruction term.
• 복합 손실을 활용합니다: 판별기에 대해 l_latent + l_visual, 제너레이터에 대해 l_mse + l_visual + l_latent를 사용하고 강한 재구성 항을 포함합니다.

제안 방법

실험 결과

연구 질문

• RQ1 잠재 공간을 경계가 있는 영역을 균일하게 커버하도록 제약하는 것이 모델이 주어진 클래스만 표현하도록 강제하는가?
• RQ2 잠재 및 시각 판별기로의 적대적 학습이 무작위 잠재 샘플에서 클래스 외와 같은 이미지를 생성하는 것을 방지하는가?
• RQ3 정보성-음성 마이닝이 잠재 공간의 영역에 노출시켜서 잘못된 클래스 내 표현을 생성하는 영역에 노출시킬 때 탐지 성능을 향상시키는가?

주요 결과

• OCGAN은 COIL100에 대해 Protocol 1에서 0.995 AUC를 포함하여 네 개의 공개 데이터셋에서 높은 AUC 성능을 달성했다.
• MNIST 유사 데이터에서 이 방법은 여러 베이스라인보다 우수했고, Protocol 1 하에서 MNIST 및 fMNIST에 대한 선행 연구에 비해 상당한 성과를 보였다.
• Protocol 2에서 CIFAR-10에 대해 OC GAN은 평균 AUC 0.9750으로 나타나 여러 베이스라인과 경쟁력 있거나 우수했다.
• MNIST에 대한 애블레이션 연구에서 잠재 및 시각 디스크리미네이터 추가와 정보성-음성 마이닝으로 점진적 성능 향상이 나타났고, 전체 모델에서 최종적으로 개선이 확인됐다.
• 정성적 분석은 정보성-음성 마이닝이 클래스 외와 같은 샘플 생성 감소와 잠재 공간 전반에서 더 일관된 클래스 내 출력 생성을 가져옴을 보여주었다.