[논문 리뷰] Autoencoding Binary Classifiers for Supervised Anomaly Detection

Yuki Yamanaka, Tomoharu Iwata외 3명|arXiv (Cornell University)|2019. 03. 26.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 자동에코더와 확률적 이元 분류를 조합하여 기존의 알려진 이상현상과 알려지지 않은 이상현상을 동시에 탐지할 수 있는 새로운 지도 학습 기반 이상 탐지 방법인 Autoencoding Binary Classifiers (ABC)를 제안한다. 레이블의 가능도를 자동에코더의 재구성 오차를 통해 모델링함으로써, ABC는 정상 데이터에 대해 재구성 오차를 최소화하고 알려진 이상현상에 대해서는 이를 최대화하도록 학습하여 안정적인 학습과 기존의 지도 및 비지도 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose the Autoencoding Binary Classifiers (ABC), a novel supervised anomaly detector based on the Autoencoder (AE). There are two main approaches in anomaly detection: supervised and unsupervised. The supervised approach accurately detects the known anomalies included in training data, but it cannot detect the unknown anomalies. Meanwhile, the unsupervised approach can detect both known and unknown anomalies that are located away from normal data points. However, it does not detect known anomalies as accurately as the supervised approach. Furthermore, even if we have labeled normal data points and anomalies, the unsupervised approach cannot utilize these labels. The ABC is a probabilistic binary classifier that effectively exploits the label information, where normal data points are modeled using the AE as a component. By maximizing the likelihood, the AE in the proposed ABC is trained to minimize the reconstruction error for normal data points, and to maximize it for known anomalies. Since our approach becomes able to reconstruct the normal data points accurately and fails to reconstruct the known and unknown anomalies, it can accurately discriminate both known and unknown anomalies from normal data points. Experimental results show that the ABC achieves higher detection performance than existing supervised and unsupervised methods.

연구 동기 및 목표

• 순수하게 지도 학습 기반 이상 탐지의 한계를 해결하기 위해, 알려지지 않은 이상현상에 대해 실패하고 클래스 불균형 문제를 애로로 겪는 기존 방법의 문제점을 해결한다.
• 재구성 오차를 최대화하는 방식으로 이상현상을 처리하지만 안정적인 학습이 어려운 기존 준지도 접근 방식인 Limiting Reconstruction Capability (LRC)의 불안정성을 극복한다.
• 자동에코더 기반 이상 탐지에 레이블 정보를 통합하면서도, 알려지지 않은 이상현상 탐지 능력을 유지한다.
• 학습 데이터에서 알려진 이상현상의 수가 적거나 비율이 낮을 경우에도 높은 성능을 유지할 수 있는 방법을 개발한다.
• 모든 알려진 이상현상이 존재하지 않을 경우에도 자동에코더로 동작하는 통합 프레임워크를 구축하여, 데이터가 적은 환경에서도 안정성을 확보한다.

제안 방법

• 데이터 포인트가 주어졌을 때 레이블(정상/이상)의 조건부 확률을 베르누이 분포로 모델링한다.
• 이 베르누이 분포의 음의 로그우도를 손실 함수로 사용하며, 이는 자동에코더의 재구성 오차로 근사된다.
• 정상 데이터 포인트에 대해서는 재구성 오차를 최소화하고 알려진 이상현상에 대해서는 이를 최대화하도록 자동에코더를 학습시어, 정상과 이상 데이터를 분리하는 결정 경계를 효과적으로 학습한다.
• LRC와 달리 재구성 오차의 상한과 하한을 모두 제한함으로써 학습의 안정성을 확보한다.
• 원시 재구성 오차보다 더 신뢰할 수 있는 이상현상 점수로, 결과적으로 도출된 조건부 확률을 사용한다.
• 정상 데이터는 잘 재구성하지만 알려진 이상현상와 알려지지 않은 이상현상 모두에서 실패하는 잠재 표현을 학습함으로써, 알려지지 않은 이상현상으로의 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 지도 학습 기반 이상 탐지 방법이 알려진 이상현상뿐 아니라 알려지지 않은 이상현상까지 효과적으로 탐지할 수 있도록 설계할 수 있는가?
• RQ2 레이블 정보를 자동에코더 기반 모델에 통합할 수 있는 방법은 무엇이며, 학습의 불안정성을 초래하지 않는가?
• RQ3 지도 학습과 비지도 학습 원리를 융합한 하이브리드 접근 방식이 순수 지도 또는 비지도 방법보다 이상 탐지 성능에서 뛰어나게 되는가?
• RQ4 알려진 이상현상의 수가 적거나 클래스 불균형이 심한 경우, 이 방법은 어떻게 성능을 유지하는가?
• RQ5 학습 시 알려진 이상현상이 존재하지 않을 경우, 모델이 자동에코더의 성질을 유지할 수 있는가?

주요 결과

• ABC는 MNIST, KDD’99, CIFAR-10, 2D-Toy 등 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성하며, AUROC 점수가 기존의 지도 및 비지도 방법을 뛰어넘는다.
• 2D-Toy 데이터셋에서 Setting 1 조건 하에 ABC는 알려진 이상현상에 대해 AUROC 0.997(001), 알려지지 않은 이상현상에 대해 AUROC 0.988(019)를 기록하여, 새로운 이상현상에 대한 강력한 일반화 능력을 입증한다.
• 알려진 이상현상의 수가 감소할 경우, ABC는 높은 탐지 성능(알려진 이상현상에 대해 AUROC ≈ 0.965)을 유지하지만, RUSBoost나 DNN과 같은 다른 지도 학습 방법은 성능이 크게 떨어진다.
• Setting 2에서 ABC는 MNIST에 대해 알려진 이상현상에 대해 AUROC 0.999(000), 알려지지 않은 이상현상에 대해 AUROC 0.823(016)를 기록하여, 이상현상 데이터가 제한적인 경우에도 뛰어난 안정성을 보여준다.
• ABC의 정상 데이터 포인트와 이상현상에 대한 학습 손실은 안정적으로 유지되며, LRC와 달리 재구성 오차의 상한이 없어 발생하는 불안정한 최적화 문제를 피한다.
• 알려진 이상현상이 존재하지 않을 경우 ABC는 표준 자동에코더로 동작하여, 재학습이나 아키텍처 변경 없이도 데이터가 적은 환경에서도 일관된 성능을 유지한다.