[논문 리뷰] Deep Anomaly Detection with Deviation Networks

Guansong Pang, Chunhua Shen외 1명|arXiv (Cornell University)|2019. 11. 19.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 소수의 레이블이 부여된 이상치와 사전 확률를 사용하여 엔드 투 엔드로 미분 가능한 훈련을 통해 이상치 점수를 직접 학습하는 딥 이상 탐지 프레임워크인 DevNet을 제안한다. 표현 학습을 먼저 수행하는 대신 이상치 점수를 직접 최적화함으로써 DevNet은 데이터 효율성과 성능을 크게 향상시켰으며, 여러 벤치마크에서 최신 기술(SOTA)을 능가하는 AUC-ROC 및 AUC-PR 성능을 기록했다. 특히 경쟁 모델 대비 AUC-PR에서 30% 향상된 성과를 보였다.

ABSTRACT

Although deep learning has been applied to successfully address many data mining problems, relatively limited work has been done on deep learning for anomaly detection. Existing deep anomaly detection methods, which focus on learning new feature representations to enable downstream anomaly detection methods, perform indirect optimization of anomaly scores, leading to data-inefficient learning and suboptimal anomaly scoring. Also, they are typically designed as unsupervised learning due to the lack of large-scale labeled anomaly data. As a result, they are difficult to leverage prior knowledge (e.g., a few labeled anomalies) when such information is available as in many real-world anomaly detection applications. This paper introduces a novel anomaly detection framework and its instantiation to address these problems. Instead of representation learning, our method fulfills an end-to-end learning of anomaly scores by a neural deviation learning, in which we leverage a few (e.g., multiple to dozens) labeled anomalies and a prior probability to enforce statistically significant deviations of the anomaly scores of anomalies from that of normal data objects in the upper tail. Extensive results show that our method can be trained substantially more data-efficiently and achieves significantly better anomaly scoring than state-of-the-art competing methods.

연구 동기 및 목표

• 표현 학습을 통해 간접적으로 이상치 점수를 최적화하는 두 단계의 딥 이상 탐지 방법의 한계를 해결하기 위해.
• 소수의 레이블이 부여된 이상치와 사전 확률만을 사용하여 이상치 점수의 엔드 투 엔드, 미분 가능한 학습을 가능하게 하기 위해.
• 최종 이상치 점수 목표를 직접 최적화함으로써 데이터 효율성과 이상치 점수 품질을 향상시키기 위해.
• 기존의 비지도 학습 방법이 사전 지식이 부족해 노이즈나 관련 없는 데이터를 이상치로 잘못 분류하는 단점을 보완하기 위해.
• 높은 이상치 비율과 제한된 레이블 데이터에서도 잘 작동하는 확장성 있고 효율적인 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• DevNet은 신경망을 사용해 입력 데이터로부터 직접 이상치 점수를 예측하며, 중간 표현 학습 단계를 생략한다.
• 모델은 이상치 점수 분포에 대한 사전 확률를 활용해 정상 데이터의 상위 尾부에서 이상치 점수가 통계적으로 유의미하게 이격되도록 강제하는 이심 손실(deviation loss)을 도입한다.
• 소수의 레이블이 부여된 이상치 데이터와 정상 및 이상 데이터가 혼합된 대규모 비라벨 데이터 세트를 사용해 엔드 투 엔드로 훈련된다.
• 이심 손실은 계산적으로 효율적이고, 전체 네트워크를 통해 역전파가 가능하도록 설계되어 있다.
• 이 프레임워크는 다층 퍼셉트론을 포함한 다양한 딥 아키텍처를 지원하며, 이미지 및 시계열 데이터에 대해 합성곱 또는 순환 네트워크로 확장할 수 있다.
• 비라벨 데이터에서 이상치가 포함된 음성 예제들을 무작위로 샘플링하여, 데이터가 적은 환경에서도 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 이상치 점수 학습이 두 단계 표현 학습 대비 딥 이상 탐지에서 더 나은 성능을 내는가?
• RQ2 소수의 레이블이 부여된 이상치와 사전 확률를 사용할 경우 데이터 효율성과 점수 성능이 어떻게 향상되는가?
• RQ3 표현을 통해 간접적으로 최적화하는 것보다 이상치 점수를 직접 최적화할 경우 일반화 능력과 강건성이 더 뛰어나지는 않는가?
• RQ4 비라벨 데이터에 높은 이상치 비율이 존재할 경우 DevNet의 성능은 어떻게 되는가?
• RQ5 데이터 크기와 차원 수가 증가함에 따라 제안된 방법은 효율적으로 확장되는가?

주요 결과

• DevNet은 최고의 경쟁 모델인 Linear 대비 평균적으로 AUC-ROC에서 6% 향상되고 AUC-PR에서 30% 향상되어 뛰어난 데이터 효율성과 점수 품질을 입증했다.
• DSVDD 대비 Rep(이심 손실를 사용한 변형)는 AUC-ROC는 유사하게 유지하면서 AUC-PR을 16% 향상시켜 이심 손실이 다양한 이상 행동을 포착하는 데서 유리함을 보였다.
• 대규모 데이터셋에서 DevNet은 REPEN과 FSNet 대비 10~20배 빠른 속도로 실행되었으며, 비슷한 선형 시간 복잡도를 가짐에도 불구하고 계산 효율성 높은 손실 함수 덕분이었다.
• 높은 이상치 비율(최대 50%) 조건에서도 DevNet은 강력한 성능을 유지했으며, 최신 기술의 비지도 탐지기보다 뚜렷한 승리를 거두었다.
• 소수의 레이블이 부여된 이상치만 존재할 경우 더 깊은 네트워크(예: 3HL)가 항상 성능 향상을 보장하지는 않아, 모델 깊이가 데이터 가용성에 맞춰져야 함을 시사했다.
• 이 방법은 이미지(CelebA, Backdoor), 텍스트(URL, Campaign, News20), 표형(Thyroid) 데이터를 포함한 다양한 데이터셋에서 잘 일반화되며, AUC-ROC와 AUC-PR 모두에서 일관된 성과 향상을 보였다.