[논문 리뷰] Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization

Selim F. Yilmaz, Süleyman S. Kozat|arXiv (Cornell University)|2020. 05. 12.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 비지도 이상 탐지에 적합한 엔드 투 엔드 딥 메트릭 학습 프레임워크를 제안하며, 데이터 투영과 메트릭 학습을 동시에 최적화하여 정상 데이터와 이상 데이터 간의 분리를 향상시킨다. 자기지도 학습 기반 데이터 정제와 하드 정상 마이닝을 도입함으로써, 14개의 실세계 데이터셋에서 상태의 기준(SOTA) 성능을 달성하였으며, AUC 점수는 4.44%에서 11.74%까지 절대적 향상이 이루어졌고, 추론 복잡도는 O(1)을 유지한다.

ABSTRACT

We investigate unsupervised anomaly detection for high-dimensional data and introduce a deep metric learning (DML) based framework. In particular, we learn a distance metric through a deep neural network. Through this metric, we project the data into the metric space that better separates the anomalies from the normal data and reduces the effect of the curse of dimensionality for high-dimensional data. We present a novel data distillation method through self-supervision to remedy the conventional practice of assuming all data as normal. We also employ the hard mining technique from the DML literature. We show these components improve the performance of our model and significantly reduce the running time. Through an extensive set of experiments on the 14 real-world datasets, our method demonstrates significant performance gains compared to the state-of-the-art unsupervised anomaly detection methods, e.g., an absolute improvement between 4.44% and 11.74% on the average over the 14 datasets. Furthermore, we share the source code of our method on Github to facilitate further research.

연구 동기 및 목표

• 레이블이 부족하거나 비용이 많이 들기 때문에 고차원 데이터에서 비지도 이상 탐지 문제를 해결하기 위해.
• 이전의 이단계적 접근 방식에서 차원 축소와 모델링 단계가 분리되어 있어 성능이 최적화되지 않는 문제를 해결하기 위해.
• 이상 데이터와 정상 데이터를 더 잘 분리할 수 있도록 메트릭 공간을 학습시켜 오진 경고를 줄이고 정확도를 향상시키기 위해.
• 중심점으로부터의 거리 기반 점수 함수를 통해 O(1) 시간 및 메모리 복잡도를 확보함으로써 효율적인 추론을 가능하게 하기 위해.
• 모듈러한 신경망 아키텍처를 통해 다양한 데이터 유형을 지원할 수 있는 일반적이고 유연한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 입력 데이터를 정상 인스턴스들이 서로 가까워지도록 학습된 메트릭 공간으로 매핑하는 딥 네ural 네트워크를 사용한다.
• 유사도 기반 손실 함수를 사용하여 유사한 인스턴스 간의 거리를 최소화하고, 비유사한 인스턴스 간의 거리를 최대화하며, 이를 엔드 투 엔드로 최적화한다.
• 새로운 자기지도 학습 기반 데이터 정제 기법을 도입하여, 각 에포크마다 모델 신뢰도 기반으로 가장 가능성 있는 정상 인스턴스만을 선택해 학습에 활용함으로써 이상치에 대한 강건성을 향상시킨다.
• 하드 정상 마이닝을 통해 메트릭 공간의 중심에서 가장 멀리 떨어져 있는 가장 도전적인 정상 인스턴스에 집중적으로 학습 업데이트를 수행함으로써 분류 성능를 향상시킨다.
• 이상점수는 각 인스턴스와 정제된 정상 데이터의 중심점 사이의 L2 거리로 계산되며, 이로 인해 O(1) 추론 시간과 메모리 복잡도를 확보한다.
• 이 프레임워크는 다양한 데이터 모odal리티에 적응 가능하다: 이미지에는 CNN, 시계열 데이터에는 RNN을 사용하며, 모듈러한 설계를 통해 다른 아키텍처도 통합할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 이단계적 접근 방식에 비해 엔드 투 엔드 딥 메트릭 학습이 비지도 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 학습 데이터에 알려지지 않은 이상치가 포함되어 있을 때, 자기지도 학습 기반 데이터 정제가 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 레이블가 없는 환경에서 하드 정상 마이닝이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 데이터 유형에서 O(1) 추론 복잡도를 유지하면서도 높은 효율성을 확보할 수 있는가?
• RQ5 이상률과 데이터 분포가 다양한 데이터셋 간에서도 이 방법이 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 14개의 실세계 데이터셋에서 기존의 최상위 비지도 이상 탐지 방법 대비 평균 AUC에서 4.44%에서 11.74%까지 절대적 향상을 달성하였다.
• 모든 설정(보이는, 보이지 않는, 일류)에서 뛰어난 성능를 보이며, ρⁿ > 0.5일 경우 데이터 정제 비율 ρⁿ에 대한 민감도가 매우 낮아, 하이퍼파ram터 민감도가 낮음을 시사한다.
• ρʰ < 0.35일 때 하드 정상 마이닝을 적용하면 보이는 및 보이지 않는 설정에서 약간의 성능 향상이 발생하며, 실행 시간도 감소하여 효율적이고 효과적인 것으로 나타났다.
• 진짜 정상 비율이 0.9375일 때도 모델이 높은 성능를 유지하며, 자기지도 학습 기반 정제 덕분에 ρⁿ ≈ 0.5일 때 최적의 성능를 기록하였다.
• 모든 ρⁿ 및 ρʰ 값에서 Letter 데이터셋에서 모든 베이스라인보다 뛰어난 성능를 보이며, 다양한 환경에서의 일관된 우수성을 확인하였다.
• O(1) 점수 함수 덕분에 실시간 추론이 가능하여, 시간 민감도가 높은 이상 탐지 응용 분야에 배치하기에 적합하다.