[논문 리뷰] Discriminative-Generative Representation Learning for One-Class Anomaly Detection

Xuan Xia, Xizhou Pan외 4명|arXiv (Cornell University)|2021. 07. 27.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 5

한 줄 요약

이 논문은 기존의 픽셀 수준 재구성 방식을 피하고 사전 과제(task)를 위한 판별자 유도 지도를 활용함으로써 생성기의 표현 학습을 향상시키는 새로운 GAN 기반의 one-class 이상 탐지 방법인 DGAD를 제안한다. 이 방법은 성능이 분류 기반 방법에 가까운 수준에 도달하면서도 훨씬 빠른 속도를 보이며, CIFAR-10에서 SOTA GAN 기반 기준보다 6% 향상되고 MVTAD에서는 2% 향상된다. 추가 분석을 통해 절대 위치 정보가 표현 학습에 미치는 영향은 맥락에 따라 달라짐을 확인하였다.

ABSTRACT

As a kind of generative self-supervised learning methods, generative adversarial nets have been widely studied in the field of anomaly detection. However, the representation learning ability of the generator is limited since it pays too much attention to pixel-level details, and generator is difficult to learn abstract semantic representations from label prediction pretext tasks as effective as discriminator. In order to improve the representation learning ability of generator, we propose a self-supervised learning framework combining generative methods and discriminative methods. The generator no longer learns representation by reconstruction error, but the guidance of discriminator, and could benefit from pretext tasks designed for discriminative methods. Our discriminative-generative representation learning method has performance close to discriminative methods and has a great advantage in speed. Our method used in one-class anomaly detection task significantly outperforms several state-of-the-arts on multiple benchmark data sets, increases the performance of the top-performing GAN-based baseline by 6% on CIFAR-10 and 2% on MVTAD.

연구 동기 및 목표

• GAN 생성기의 표현 학습 능력이 제한되어 있어 일반적으로 픽셀 수준 재구성에 과적합되고 추상적인 의미적 특징을 학습하지 못하는 문제를 해결하기 위해.
• 생성 및 분류 기반 자기 지도 학습을 통합하기 위해 판별자를 예측기로 재사용하여 생성기가 사전 과제를 통해 학습할 수 있도록 유도하기 위해.
• 복잡한 후처리에 의존하지 않고도 one-class 환경에서 이상 탐지 성능을 향상시키면서도 높은 추론 속도를 유지하기 위해.
• 기하학적 변환 사전 과제에서 생성 및 분류 기반 구성 요소의 표현 학습에 절대 위치 정보가 미치는 영향을 조사하기 위해.

제안 방법

• 생성기는 기하학적 변환 사전 과제의 레이블을 만족시키도록 판별자의 지도를 받아 픽셀 수준 재구성 대신 주요 학습 신호로 활용한다.
• 판별자는 사전 과제(예: 회전 또는 자르기 분류)의 예측기로 기능하여, 분류 신호를 통해 생성기가 추상적인 의미적 표현을 학습할 수 있도록 한다.
• 이상 탐지 점수는 생성기 출력에 대한 재구성 손실을 사용하여 계산되며, Dirichlet 점수나 정규화가 필요한 분류 기반 방법에 비해 단순하고 빠른 성능을 유지한다.
• 대칭 패딩을 사용하고 좌표 컨볼루션을 회피하여 절대 위치 정보가 간섭을 일으키지 않도록 하였으며, 이는 생성기의 표현 학습을 떨어뜨리는 것으로 확인되었다.
• 두 가지 프로토콜 하에 평가가 이루어졌으며, 하나는 재구성 손실만을 사용하고, 다른 하나는 재구성 손실과 Dirichlet 점수를 함께 사용하며, 밀도 손실과 위치 인코딩에 대한 분석도 수행되었다.
• 재구성 기반 점수와 분류 기반 후처리의 계산 성능 비교를 통해 재구성 기반 점수의 계산적 우수성을 입증하였다.

실험 결과

연구 질문

• RQ1 생성 모델인 GAN이 one-class 이상 탐지에 적합한 더 강력하고 추상적인 의미적 표현을 학습할 수 있도록 어떻게 향상시킬 수 있는가?
• RQ2 자기 지도 기하학적 변환 과제에서 생성 및 분류 기반 구성 요소의 표현 학습 능력에 절대 위치 정보가 미치는 영향은 무엇인가?
• RQ3 분류 기반 및 생성 기반의 하이브리드 프레임워크는 순수 분류 기반 방법과 유사한 성능을 달성하면서도 더 빠른 추론 속도를 유지할 수 있는가?
• RQ4 판별자 유도 표현 학습은 전통적인 픽셀 수준 재구성에 비해 이상 탐지 AUC 측면에서 어떻게 비교되는가?

주요 결과

• DGAD는 CIFAR-10에서 최고 성능을 보인 GAN 기반 기준보다 6% 향상되고 MVTAD에서는 2% 향상되어 one-class 이상 탐지 성능 향상이 뚜렷하다.
• 재구성 손실만을 사용하는 표준 GAN에 비해 판별자 유도 표현 학습을 통해 AUC가 5.4–7.5% 향상된다.
• 밀도 손실이 없을 경우 성능이 2–2.9% 저하되며, 이는 표현 학습의 안정화에 밀도 손실의 중요성을 확인한다.
• 절대 위치 정보는 기하학적 변환 과제에서 생성기의 의미적 표현 학습 능력을 떨어뜨리며, 0 패딩 또는 coordconv를 사용할 경우 성능이 1–2% 저하된다.
• 반대로 절대 위치 정보는 판별자의 분류 정확도를 향상시키지만, 이 이점은 생성기로 전이되지 않아, 과제에 따라 영향이 다름을 확인하였다.
• 재구성 기반 이상 점수(s_rec)는 Dirichlet 점수 기반 방법(s_dir)보다 3.6~8.5배 더 빠르며, s_rec은 s_dir과 유사한 성능을 보이면서도 훨씬 더 효율적이다.