[논문 리뷰] ESAD: End-to-end Deep Semi-supervised Anomaly Detection

Chaoqin Huang, Fei Ye외 4명|arXiv (Cornell University)|2020. 12. 09.

Anomaly Detection Techniques and Applications참고 문헌 59인용 수 8

한 줄 요약

ESAD는 상호정보량과 엔트로피를 동시에 최적화하는 새로운 인코더-디코더-인코더 아키텍처를 사용하는 엔드 투 엔드 딥 준지도 학습 이상 탐지 방법을 제안한다. 이는 일관된 잠재 표현 제약 조건을 가진 이중 인코더를 통해 이러한 목적 간의 갈등을 해결한다. 다양한 벤치마크에서 최고 성능을 기록하며, 의료 영상 및 표준 이상 탐지 데이터셋 모두에서 레이블 오염에 대한 뛰어난 내성과 다양한 이상 유형에 대한 향상된 일반화 능력을 보인다.

ABSTRACT

This paper explores semi-supervised anomaly detection, a more practical setting for anomaly detection where a small additional set of labeled samples are provided. We propose a new KL-divergence based objective function for semi-supervised anomaly detection, and show that two factors: the mutual information between the data and latent representations, and the entropy of latent representations, constitute an integral objective function for anomaly detection. To resolve the contradiction in simultaneously optimizing the two factors, we propose a novel encoder-decoder-encoder structure, with the first encoder focusing on optimizing the mutual information and the second encoder focusing on optimizing the entropy. The two encoders are enforced to share similar encoding with a consistent constraint on their latent representations. Extensive experiments have revealed that the proposed method significantly outperforms several state-of-the-arts on multiple benchmark datasets, including medical diagnosis and several classic anomaly detection benchmarks.

연구 동기 및 목표

• 준지도 학습 이상 탐지에서 상호정보량과 엔트로피라는 상충되는 목적을 최적화하는 데 도전한다.
• 딥 SAD와 같은 기존 이중 단계 학습 방법에서 엔트로피 최소화가 상호정보량을 약화시키는 모델 붕괴 문제를 해결한다.
• 상호정보량과 엔트로피를 통합된 목적 함수에 통합함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 오염된 비라벨 데이터에 대한 내성 향상과 다양한 이상 유형에 대한 일반화 능력 향상을 도모한다.

제안 방법

• 데이터와 잠재 표현 간의 상호정보량과 잠재 표현의 엔트로피로 분해되는 KL 발산 기반 목적 함수를 제안한다.
• 정상 데이터에 대해 상호정보량을 최대화하는 데 초점을 맞춘 인코더와 이상 데이터에 대해 엔트로피를 최소화하는 데 초점을 맞춘 두 개의 별도 인코더를 갖춘 인코더-디코더-인코더 아키텍처를 도입한다.
• 두 인코더 간의 일관된 잠재 표현을 제약 조건을 통해 강제하여 정렬을 유지하면서도 전문화된 최적화를 가능하게 한다.
• 자동차원 분기에서 자기지도 학습 복원 손실을 사용하여 데이터 복원 정확도를 유지한다.
• 학습을 안정화하고 두 인코더가 동일한 상수 함수로 붕괴하는 것을 방지하기 위해 보조 손실 항목(λ₂)을 도입한다.
• 엔드 투 엔드 방식으로 상호정보량을 최대화하고 엔트로피를 제어하는 공동 최적화 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 준지도 학습 이상 탐지에서 상호정보량과 엔트로피를 단일 엔드 투 엔드 프레임워크 내에서 동시에 최적화할 수 있는가?
• RQ2 학습 도중 상호정보량 최대화와 엔트로피 최소화 간의 본질적 모순을 어떻게 해결할 수 있는가?
• RQ3 이중 전문화된 인코더를 갖춘 인코더-디코더-인코더 구조는 순차적 또는 단일 인코더 접근 방식보다 성능을 향상시키는가?
• RQ4 제안된 방법은 비라벨 학습 세트의 레이블 오염에 얼마나 강건한가?
• RQ5 라벨된 이상 유형의 다양성이 증가하면 탐지 성능이 향상되는가?

주요 결과

• ESAD는 CIFAR-10, MNIST 및 Camelyon16, NIH 흉부 X-ray와 같은 의료 영상 데이터셋을 포함한 여러 벤치마크 데이터셋에서 최고 성능을 기록한다.
• CIFAR-10에서 5%의 라벨 데이터와 10%의 오염 비율 조건 하에, 라벨된 이상 유형 수가 1개에서 5개로 증가할 때 AUC가 81.9%에서 86.7%로 향상된다.
• 오염된 비라벨 데이터(γₚ = 0.1) 존재 조건에서, 모든 방법 중에서 가장 낮은 성능 저하를 보이며 뛰어난 내성을 입증한다.
• 보조 손실 가중치 λ₂를 1로 설정했을 때 모델이 최적의 성능을 기록하며, λ₂가 너무 크거나 0일 경우 성능이 저하됨으로써, λ₂가 학습 안정화에 기여하는 것을 확인한다.
• T-SNE 시각화 결과 두 인코더가 서로 다른데도 일관된 표현을 학습하고 있음을 확인하여, 디자인이 상충되는 목적을 균형 있게 조절할 수 있음을 검증한다.
• 라벨된 이상 데이터가 없는 불완전한 비지도 설정에서도 ESAD는 경쟁 가능한 성능을 기록하지만, 이는 해당 시나리오를 위한 설계가 아니므로 예상치 못한 결과이다.