[논문 리뷰] Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations

Çağlar Aytekin, Xingyang Ni외 2명|arXiv (Cornell University)|2018. 02. 01.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 37

한 줄 요약

이 논문은 클러스터링 및 비지도 이상 탐지 성능을 향상시키기 위해 훈련 중에 딥 오토에인코더 표현의 l² 정규화를 제안한다. 표현을 단위 구면에 제약을 두어 유클리드 공간에서 클러스터가 더 분리 가능하고 조밀하게 만들어지며, 이는 향상된 k-means 클러스터링 및 이상 탐지 성능을 가능하게 한다—특히 숫자 '1'과 같은 어려운 케이스에서 복원 오차 기반 방법보다 뛰어나다.

ABSTRACT

Clustering is essential to many tasks in pattern recognition and computer vision. With the advent of deep learning, there is an increasing interest in learning deep unsupervised representations for clustering analysis. Many works on this domain rely on variants of auto-encoders and use the encoder outputs as representations/features for clustering. In this paper, we show that an l2 normalization constraint on these representations during auto-encoder training, makes the representations more separable and compact in the Euclidean space after training. This greatly improves the clustering accuracy when k-means clustering is employed on the representations. We also propose a clustering based unsupervised anomaly detection method using l2 normalized deep auto-encoder representations. We show the effect of l2 normalization on anomaly detection accuracy. We further show that the proposed anomaly detection method greatly improves accuracy compared to previously proposed deep methods such as reconstruction error based anomaly detection.

연구 동기 및 목표

• 딥 오토에인코더 표현을 사용하여 비지도 클러스터링 및 이상 탐지를 향상시키기 위해.
• 훈련 중 오토에인코더 특징의 l² 정규화가 클러스터링 및 이상 탐지 성능을 향상시키는지 조사하기 위해.
• l² 정규화가 유클리드 공간에서 더 분리 가능하고 조밀한 클러스터를 이끌어내는지 보여주기 위해.
• 복원 오차 기반 접근 방식보다 뛰어난 클러스터링 기반 비지도 이상 탐지 방법을 제안하기 위해.

제안 방법

• 오토에인코더 훈련 중에 인코더의 출력 표현에 l² 정규화를 적용하여 단위 구면 상에 위치하도록 제약을 둔다.
• l² 정규화된 표현에 대해 k-means 클러스터링을 수행하여 클러스터링 및 이상 탐지에 활용한다.
• 정상 및 이상 데이터를 병합하여 오토에인코더를 훈련시켜 방법을 완전히 비지도로 만든다.
• 클러스터 할당을 이용해 이상 점수를 정의한다: 낮은 클러스터 신뢰도 또는 희귀 클러스터에 속한 샘플은 이상으로 간주한다.
• 복원 오차 기반 이상 탐지 및 기타 딥 오토에인코더 방법과 성능를 비교한다.
• 10개의 랜덤 분할에 대해 평균을 내어 MNIST에서 10%의 한 숫자 클래스를 이상으로 설정하고 AUC를 평가한다.

실험 결과

연구 질문

• RQ1 훈련 중 오토에인코더 표현의 l² 정규화가 비정규화 또는 다른 정규화 방법에 비해 클러스터링 정확도를 향상시키는가?
• RQ2 l² 정규화된 표현은 복원 오차 기반 방법에 비해 더 뛰어난 비지도 이상 탐지 성능을 가능하게 하는가?
• RQ3 왜 복원 오차 기반 이상 탐지 방법은 '1'과 같은 특정 숫자에서 실패하는가? 그리고 클러스터링 기반 탐지 방법은 이 문제를 해결할 수 있는가?
• RQ4 l² 정규화는 임베딩 공간에서 학습된 표현의 기하학적 구조에 어떤 영향을 미치는가?
• RQ5 제안된 클러스터링 기반 이상 탐지 방법은 다양한 숫자 클래스와 이상 정의에 대해 일반화되는가?

주요 결과

• 훈련 중 l² 정규화는 클러스터링 정확도를 크게 향상시키며, 추가적인 클러스터링 손실이 있는 방법보다 l² 정규화된 표현에 대한 k-means 클러스터링 성능이 뛰어나다.
• 제안된 클러스터링 기반 이상 탐지 방법은 숫자 '1'에서 평균 AUC 0.9673을 기록했으며, 복원 오차 기반 탐지의 0.0782와 비교해 12배 향상된 성능을 보였다.
• 10개 숫자 중 9개에 대해 훈련 중 l² 정규화가 비정규화 대비 이상 탐지 AUC를 향상시키며, 특히 숫자 '1'에서 가장 큰 향상률을 보였다.
• 이 방법은 AE 및 VAE 기반 복원 오차 방법을 모두 초월하여, 숫자 전반에서 AUC 0.9615–0.9790의 성능을 기록했으며, 기준선 대비 AUC 0.135–0.921의 범위를 벗어나지 않았다.
• 복원 오차 기반 탐지가 숫자 '1'에서 실패하는 이유는 그 단순성 덕분이며, 이는 제한된 예시로도 오토에인코더가 잘 복원할 수 있기 때문이다.
• 이 방법은 클래스 불균형 및 훈련 중 이상 데이터 혼합에 대해 강건하며, 이상 데이터가 훈련 세트에 포함되어 있어도 높은 성능을 유지한다.