[논문 리뷰] ADGym: Design Choices for Deep Anomaly Detection

Minqi Jiang, Chaochuan Hou외 6명|arXiv (Cornell University)|2023. 09. 27.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

ADGym은 딥 데브리프드 움스업서비즈드 이상 탐지(WSAD)에서 설계 선택 사항의 체계적 평가와 자동 선택을 위한 플랫폼으로, 데이터셋에 맞는 최적의 모델 설정을 가능하게 한다. 메타러닝을 활용해 특정 데이터 분포에 맞는 하이퍼파ram터, 아키텍처, 전처리 전략을 선택함으로써 다양한 벤치마크와 실제 소음 조건에서 AUCROC 및 AUCPR에서 최신 기술을 초월하는 성능 향상을 이룬다.

ABSTRACT

Deep learning (DL) techniques have recently found success in anomaly detection (AD) across various fields such as finance, medical services, and cloud computing. However, most of the current research tends to view deep AD algorithms as a whole, without dissecting the contributions of individual design choices like loss functions and network architectures. This view tends to diminish the value of preliminary steps like data preprocessing, as more attention is given to newly designed loss functions, network architectures, and learning paradigms. In this paper, we aim to bridge this gap by asking two key questions: (i) Which design choices in deep AD methods are crucial for detecting anomalies? (ii) How can we automatically select the optimal design choices for a given AD dataset, instead of relying on generic, pre-existing solutions? To address these questions, we introduce ADGym, a platform specifically crafted for comprehensive evaluation and automatic selection of AD design elements in deep methods. Our extensive experiments reveal that relying solely on existing leading methods is not sufficient. In contrast, models developed using ADGym significantly surpass current state-of-the-art techniques.

연구 동기 및 목표

• 손실 함수, 네트워크 아키텍처, 데이터 전처리 기법 등의 개별 설계 선택 사항 중에서 딥 이상 탐지 성능에 가장 큰 영향을 미치는 요소를 규명하는 것.
• 기존 딥 AD 방법에서 구성 요소 간 상호작용에 대한 체계적 평가가 부족하고, 일반적으로 모델을 통합된 단위로 간주한다는 문제를 해결하는 것.
• 특정 데이터셋에 최적화된 설계 선택 사항 조합을 자동으로 선별하는 메타러닝 기반 프레임워크를 개발하여, 사전 정의된 모델 목록을 넘어서는 것.
• 중복 이상 탐지, 관련 없는 특성, 레이블 노이즈 등의 실제 데이터 문제 상황에서 설계 선택 사항의 견고성 평가하기.
• 모든 데이터셋에서 유일한 최적의 설계 선택 사항이 존재하지 않음을 입증하여, 데이터셋 기반 최적화의 필요성을 정당화하는 것.

제안 방법

• ADGym은 데이터 처리, 네트워크 구성, 네트워크 훈련, 전처리 기법 등 다섯 가지 차원에서 설계 선택 사항의 포괄적인 검색 공간을 구성한다.
• 기존 벤치마크 데이터셋에서의 역사적 성능 기반으로, 새로운 데이터셋에 가장 높은 성능을 보일 설계 선택 조합을 예측하기 위해 메타러닝 접근법을 사용한다.
• 플랫폼은 대규모 WSAD 벤치마크(실제 및 소음 있는 데이터 설정 포함)에서 표준화된 지표(AUCROC, AUCPR)를 사용해 모든 조합을 평가한다.
• 이중 단계 파이프라인을 사용한다: 첫 번째로, 메타예측기가 이전 데이터셋-설계 선택 사항-성능 매핑을 학습한다; 두 번째로, 새로운 데이터셋에 최적의 설정을 선별한다.
• 실험은 세 가지 실제 소음 조건(중복 이상 탐지, 관련 없는 특성, 레이블 노이즈) 하에서 통제된 평가를 포함하며, 성능은 AUCROC 및 AUCPR로 측정된다.
• 엔드 투 엔드 및 두 단계 훈련 파라다임을 모두 지원하여, 다양한 훈련 전략 간 비교가 가능하다.

실험 결과

연구 질문

• RQ1 딥 이상 탐지에서 어떤 개별 설계 선택 사항이 모델 성능에 가장 큰 영향을 미치는가?
• RQ2 다양한 설계 선택 사항 간의 상호작용은 어떻게 되며, 이들의 상대적 기여도는 무엇인가?
• RQ3 메타러닝 프레임워크는 새로운 데이터셋에 대해 최적의 설계 선택 조합을 자동으로 선별할 수 있는가? 그리고 기존 최신 기술 모델을 초월할 수 있는가?
• RQ4 레이블 노이즈, 관련 없는 특성, 중복 이상 탐지 등의 실제 데이터 문제 상황에서 다양한 설계 선택 사항의 견고성은 어떠한가?
• RQ5 모든 데이터셋에서 유일한 최적 설정이 존재하는가, 아니면 데이터셋 기반 최적화가 필수적인가?

주요 결과

• 최적의 설계 선택 조합은 데이터셋 간에 크게 달라지며, 어떤 구성도 항상 우월한 성능을 보이지 않는다.
• ADGym이 자동으로 선별한 모델은 기존 최신 기술 모델을 일관되게 능가하며, 이상 샘플 20개가 포함된 벤치마크 데이터셋에서 최대 0.685 AUCROC 및 0.659 AUCPR를 기록한다.
• ResNet 아키텍처는 모든 소음 조건에서 뛰어난 안정성 있는 성능을 보이며, 특히 중복 이상 탐지 상황에서 성능 향상과 분산 증가가 관찰된다.
• 관련 없는 특성과 레이블 노이즈는 대부분의 설계 선택 사항에서 성능을 심각하게 떨어뜨리며, 결과의 변동성이 미미하여 이러한 조건 하에서 모든 모델의 성능가 수렴하는 경향을 보인다.
• 중복 이상 탐지는 모든 설계 선택 사항에서 성능 향상을 유도하며, 실제 시나리오에서 데이터 불균형 문제의 완화 가능성 잠재력을 보여준다.
• 메타예측기 접근법은 높은 성능의 설정을 일관되게 선별할 수 있으며, ADGym의 엔드 투 엔드 및 두 단계 파이프라인은 모든 테스트 설정에서 AUCROC 및 AUCPR에서 최고의 상대 순위를 기록한다.