[논문 리뷰] Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders

Gowthami Somepalli, Yexin Wu외 3명|arXiv (Cornell University)|2020. 03. 24.

Anomaly Detection Techniques and Applications참고 문헌 75인용 수 10

한 줄 요약

이 논문은 적대적 거울 오토에인코더(AMA)를 제안하며, 이는 거울 워샤프스키 손실을 통해 재구성 품질을 향상시키고 단순형 보간 및 이질적 선택을 통해 잠재 공간의 밀도를 높임으로써 비지도 이상 탐지 성능을 향상시키는 새로운 방법이다. AMA는 다양한 OOD 탐지 벤치마크에서 최신 기술을 초월하여, CIFAR-10에서 최대 3.7% 높은 AUROC를 기록했고, MNIST에서는 1.7% 향상되었다.

ABSTRACT

Detecting out of distribution (OOD) samples is of paramount importance in all Machine Learning applications. Deep generative modeling has emerged as a dominant paradigm to model complex data distributions without labels. However, prior work has shown that generative models tend to assign higher likelihoods to OOD samples compared to the data distribution on which they were trained. First, we propose Adversarial Mirrored Autoencoder (AMA), a variant of Adversarial Autoencoder, which uses a mirrored Wasserstein loss in the discriminator to enforce better semantic-level reconstruction. We also propose a latent space regularization to learn a compact manifold for in-distribution samples. The use of AMA produces better feature representations that improve anomaly detection performance. Second, we put forward an alternative measure of anomaly score to replace the reconstruction-based metric which has been traditionally used in generative model-based anomaly detection methods. Our method outperforms the current state-of-the-art methods for anomaly detection on several OOD detection benchmarks.

연구 동기 및 목표

• CIFAR-10과 같은 다양한 데이터셋에서 표준 적대적 손실이 의미 구조를 유지하지 못하는 자동에인코더의 열악한 재구성 품질 문제를 해결하기 위해.
• 내분포 샘플에 대한 잠재 공간의 밀도를 향상시켜 보다 우수한 일반화 및 이상 탐지 성능을 달성하기 위해.
• 기존의 재구성 기반 이상 탐지 점수를 대체하기 위해 훈련 시 재구성 오차 분포에서 유도된 유사 가능성 기반 점수를 제안하기 위해.
• 내분포 다양체에서 벗어나도록 OOD 샘플을 밀어내는 더 견고한 잠재 공간 정규화 기법을 개발하기 위해.

제안 방법

• 재구성 품질의 픽셀 수준 및 구조 수준을 강화하기 위해 (x, x)와 (x, x̂)의 결합 분포를 비교하는 거울 워샤프스키 손실을 도입한다.
• 내분포 다양체의 매끄럽고 밀도 높은 표현을 확보하기 위해 잠재 공간에서 단체형 보간을 적용한다.
• 내분포 잠재 공간 경계 근처에서 이질적인 잠재 코드를 샘플링하여 일반화 능력을 향상시키기 위해 이질적 선택 기법을 사용한다.
• 훈련 재구성 오차 분포 내에서 샘플의 재구성 오차의 유사 가능성 기반 점수를 유도해 새로운 이상 탐지 점수 메트릭을 제안한다.
• 픽셀 기반 Lp 손실에 의존하지 않고, 적대적 훈련과 거울 워샤프스키 GAN 목표함수를 조합하여 생성기 품질을 향상시킨다.
• 실제 이미지 쌍 (x, x)과 재구성된 쌍 (x, x̂)을 구분하는 판별자로 훈련하여 의미 일관성을 중시한다.

실험 결과

연구 질문

• RQ1 표준 GAN이 의미 구조를 유지하지 못하는 다양한 데이터셋, 예를 들어 CIFAR-10에서 거울 워샤프스키 손실이 재구성 품질을 향상시킬 수 있는가?
• RQ2 잠재 공간 정규화를 위해 단체형 보간과 이질적 선택을 적용할 경우 내분포 샘플에 대한 표현이 더 밀도 있고 일반화 능력이 뛰어나지는가?
• RQ3 재구성 오차 분포에서 유도된 유사 가능성 기반 이상 점수는 기존의 재구성 기반 메트릭보다 OOD 탐지에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 특히 이상이 동일한 데이터 다양체에서 유래할 경우, 제안된 방법은 도전적인 OOD 탐지 상황에서 최신 기술 대비 어떻게 성능을 내는가?

주요 결과

• SVHN, ImageNet, CIFAR-100에서의 이상 탐지 시 AMA는 CIFAR-10에서 다음으로 우수한 방법보다 AUROC가 3.7% 높게 기록했다.
• 다른 MNIST 유사 데이터셋에서의 이상 탐지 시 AMA는 MNIST에서 두 번째로 우수한 방법보다 AUROC가 1.7% 높았다.
• 제거 실험 결과, 거울 워샤프스키 손실을 제거할 경우 AUROC가 약 0.1점 감소함을 확인하여, 이 손실이 재구성 품질 향상에 결정적인 역할을 함을 입증했다.
• 이질적 선택은 표준 음성 샘플링 방법보다 우수한 성능을 보였으며, 단체형 보간을 사용한 경우 SVHN vs CIFAR-10에서 AUROC 0.993을 기록했고, 표준 샘플링은 0.896에 머물렀다.
• 정규 분포가 OOD 분포보다 더 다양한 경우, 예를 들어 CIFAR-10 vs SVHN에서 새로운 이상 점수 메트릭이 성능 향상에 크게 기여했다.
• AMA는 도전적인 CIFAR-10 vs CIFAR-100 설정에서도 강력한 성능을 유지했지만, 모든 모델(AMA 포함)이 높은 데이터 유사성으로 인해 제한된 성능을 보였다.