[논문 리뷰] Deep Weakly-supervised Anomaly Detection

Guansong Pang, Chunhua Shen외 2명|arXiv (Cornell University)|2019. 10. 30.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 33

한 줄 요약

PReNet은 보이는 이상과 보이지 않는 이상을 탐지하기 위해 이상-이상, 이상-비라벨, 비라벨-비라벨 쌍 간의 쌍 관계를 학습하는 심층 약지도 이상 탐지기로, 비라벨 데이터의 이상 오염에 대해 강인한 강건성을 보인다.

ABSTRACT

Recent semi-supervised anomaly detection methods that are trained using small labeled anomaly examples and large unlabeled data (mostly normal data) have shown largely improved performance over unsupervised methods. However, these methods often focus on fitting abnormalities illustrated by the given anomaly examples only (i.e.,, seen anomalies), and consequently they fail to generalize to those that are not, i.e., new types/classes of anomaly unseen during training. To detect both seen and unseen anomalies, we introduce a novel deep weakly-supervised approach, namely Pairwise Relation prediction Network (PReNet), that learns pairwise relation features and anomaly scores by predicting the relation of any two randomly sampled training instances, in which the pairwise relation can be anomaly-anomaly, anomaly-unlabeled, or unlabeled-unlabeled. Since unlabeled instances are mostly normal, the relation prediction enforces a joint learning of anomaly-anomaly, anomaly-normal, and normal-normal pairwise discriminative patterns, respectively. PReNet can then detect any seen/unseen abnormalities that fit the learned pairwise abnormal patterns, or deviate from the normal patterns. Further, this pairwise approach also seamlessly and significantly augments the training anomaly data. Empirical results on 12 real-world datasets show that PReNet significantly outperforms nine competing methods in detecting seen and unseen anomalies. We also theoretically and empirically justify the robustness of our model w.r.t. anomaly contamination in the unlabeled data. The code is available at https://github.com/mala-lab/PReNet.

연구 동기 및 목표

• 보이는 이상에 과적합하고 보이지 않는 이상은 다루기 어려운 기존의 반지도 학습 기반 이상 탐지기의 한계를 동기 부여하고 해결한다.
• 이상-이상, 이상-비라벨, 비라벨-비라벨 쌍을 사용하여 일반화된 이상 점수를 학습하는 쌍 관계 학습 프레임워크(PReNet)를 제안한다.
• 대량의 비라벨 데이터와 제한된 라벨링된 이상을 활용하면서 보이는 이상과 보이지 않는 이상 모두에 대해 강건한 탐지를 가능하게 한다.
• 이상 오염에 대한 강건성에 대한 이론적 근거를 제공하고 실제 데이터셋 전반에서 강한 실험적 성능을 입증한다.

제안 방법

• 세 가지 쌍 유형(이상-이상, 이상-비라벨, 비라벨-비라벨)에 대해 쌍 관계 예측 작업으로 이상 점수화를 형식화한다.
• 이상 점수 학습을 안내하기 위해 c(a,a) > c(a,u) > c(u,u)인 서수(ordinal) 레이블을 갖는 인스턴스-쌍 데이터세트를 구성한다.
• 공유 피처 추출기를 갖는 이중 스트림 신경망을 사용하여 쌍 표현을 계산하고 선형 스코어링 헤드를 통해 이상 점수를 산출한다.
• 예상 점수와 서수 레이블 간의 간격을 최소화하는 세류(3-class) 서수 회귀 손실로 학습하되, 클래스 불균형을 해결하기 위해 이상 관련 쌍의 과샘플링을 적용한다.
• 라벨이 부여된 이상 및 비라벨 데이터와의 다수의 무작위 매칭에 걸친 쌍별 점수들의 평균으로 테스트 인스턴스에 대한 이상 점수를 추정한다.
• 3.3 PReNet를 이용한 이상 탐지는 여러 매칭에서 계산된 앙상블형 스코어링 s_xk 를 포함하여 학습 및 추론 절차를 설명한다.

실험 결과

연구 질문

• RQ1 약지도 프레임워크가 특정 이상 예제가 아니라 쌍 관계를 학습함으로써 보이지 않는 이상 유형에 일반화할 수 있는가?
• RQ2 쌍 관계 학습이 기존의 반지도 및 비지도 방법과 비교하여 탐지 성능과 샘플 효율성을 어떻게 향상시키는가?
• RQ3 비라벨 데이터의 이상 오염에 대해 PReNet 접근법이 강건한가, 그리고 어떤 조건에서 그러한가?

주요 결과

• PReNet은 실제 세계 데이터셋 12개에서 보이는 및 보이지 않는 이상 탐지에 대해 9개 경쟁 방법을 상당히 능가한다(AUC-PR 및 AUC-ROC 측면).
• PReNet은 샘플 효율성이 크게 향상된 더 높은 이상 탐지 성능을 달성하며, 일부 설정에서 라벨링된 이상 데이터가 50%-87.5% 더 적게 필요하다.
• 이 방법은 비라벨 데이터의 이상 오염이 있더라도 이론적 보장과 실험적 지지를 바탕으로 강건한 성능을 보여준다.
• 실험 결과는 다양한 벤치마크 데이터셋에서 최첨단 방법들에 비해 현저한 개선을 보인다.