[논문 리뷰] Supervised Anomaly Detection based on Deep Autoregressive Density Estimators

Tomoharu Iwata, Yuki Yamanaka|arXiv (Cornell University)|2019. 04. 12.

Anomaly Detection Techniques and Applications참고 문헌 49인용 수 8

한 줄 요약

이 논문은 정확한 밀도 추정과 레이블 인식 훈련을 통해 정상 인스턴스에 대한 가능도를 최대화하고 비정상 인스턴스에 대한 가능도를 최소화하는 로그 가능도 비율 정규화를 통해 동시에 정상 및 비정상 인스턴스의 가능도를 최적화하는 지도 학습 기반 이상 탐지 방법을 제안한다. 이 방법은 16개 데이터셋에서 최신 기준 성능을 달성하며, 특히 레이블이 부족한 비정상 인스턴스에서 비지도 및 지도 학습 기반 기준보다 뛰어난 성능을 보이며, 정확한 밀도 추정과 레이블 기반 훈련을 융합함으로써 성능을 향상시킨다.

ABSTRACT

We propose a supervised anomaly detection method based on neural density estimators, where the negative log likelihood is used for the anomaly score. Density estimators have been widely used for unsupervised anomaly detection. By the recent advance of deep learning, the density estimation performance has been greatly improved. However, the neural density estimators cannot exploit anomaly label information, which would be valuable for improving the anomaly detection performance. The proposed method effectively utilizes the anomaly label information by training the neural density estimator so that the likelihood of normal instances is maximized and the likelihood of anomalous instances is lower than that of the normal instances. We employ an autoregressive model for the neural density estimator, which enables us to calculate the likelihood exactly. With the experiments using 16 datasets, we demonstrate that the proposed method improves the anomaly detection performance with a few labeled anomalous instances, and achieves better performance than existing unsupervised and supervised anomaly detection methods.

연구 동기 및 목표

• 비지도 신경망 밀도 추정기의 비정상 레이블 정보 활용 능력 부족 문제를 해결하기 위해.
• 레이블이 부족한 비정상 인스턴스가 존재할 경우 이상 탐지 성능을 향상시키기 위해.
• 낮은 밀도 영역 탐지에 유리한 밀도 추정의 장점과 비정상 경계를 효과적으로 학습하는 지도 학습의 장점을 융합하기 위해.
• 정상 데이터에 대한 가능도 최대화와 정규화를 통한 비정상 탐지 능력 향상을 균형 잡는 미분 가능한 목적 함수를 개발하기 위해.
• 다양한 실제 데이터셋에서 기존의 비지도 및 지도 학습 기반 이상 탐지 방법보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 정확한 가능도 계산이 가능한 딥 오토레그레서티브 모델(예: MADE)을 사용하여 데이터 밀도를 모델링한다.
• 비정상 점수를 학습된 밀도 모델 하에서 인스턴스의 음의 로그 가능도로 정의한다.
• 정상 인스턴스의 로그 가능도를 최대화하고, 비정상 인스턴스의 높은 가능도를 페널티 처리하기 위해 로그 가능도 비율 정규화 항을 포함한 공동 목적 함수를 제안한다.
• 가능도 최대화와 비정상 탐지 간의 트레이드오���잉을 조절하기 위해 하이퍼파rameter λ를 도입한다.
• 미분 가능한 목적 함수를 기반으로 확률적 경사 하강법을 사용해 엔드 투 엔드 최적화를 수행한다.
• 검증 데이터를 활용해 λ를 튜닝하여, 데이터셋 특성에 따라 가능도 최대화 또는 비정상 탐지 우선순위를 자동으로 조정한다.

실험 결과

연구 질문

• RQ1 비정상 레이블 정보를 효과적으로 활용하면서도 정확한 가능도 계산을 유지할 수 있는 신경망 밀도 추정기가 개발될 수 있는가?
• RQ2 정규화 항을 통한 레이블 정보 통합이, 특히 레이블이 부족한 경우 이상 탐지 성능 향상에 기여하는가?
• RQ3 다양한 데이터셋에서 제안된 방법은 비지도 밀도 추정기와 표준 지도 학습 분류기와 비교해 AUC와 내구성 측면에서 어떻게 성능을 냈는가?
• RQ4 가능도 최대화와 비정상 탐지 간의 최적 균형은 무엇이며, 이는 데이터셋에 따라 어떻게 달라지는가?
• RQ5 기존 방법이 실패하는 정상 인스턴스가 없는 영역이나 비정상 집합이 농축된 영역에서도 이 방법이 이상을 탐지할 수 있는가?

주요 결과

• 제안된 방법은 16개 벤치마크 데이터셋에서 비교된 10개 방법 중 평균 AUC가 가장 높았다.
• 비정상 레이블이 3개 뿐인 경우에도 평균 AUC가 0.859를 기록하여, Annthyroid, PenDigits, Wilt 등 몇몇 데이터셋에서 비지도 방법(MADE)과 지도 학습 기반 기준(SVM)보다 뚜렷한 성능 향상을 보였다.
• Annthyroid, PenDigits, Wilt에서 비지도 기반 MADE 기준보다 통계적으로 유의미한 AUC 향상을 기록하며 성능을 뛰어넘었다.
• 비정상 인스턴스가 0개일 때 평균 AUC가 0.807에서 5개일 때 0.859로 상승하여 높은 데이터 효율성을 입증했다.
• 하이퍼파rameter λ는 데이터셋에 따라 달라지며, 최적 값은 낮은 것부터 높은 값까지 다양하게 나타나, 적응형 튜닝의 필요성을 시사했다.
• 비정상 집합이 농축된 영역에서 비지도 및 지도 학습 기반 방법이 실패한 시뮬레이션 예제에서, 제안된 방법은 모든 테스트 비정상 인스턴스를 정확히 탐지했다.