[논문 리뷰] AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection

Marius Drăgoi, Elena Burceanu외 3명|arXiv (Cornell University)|2022. 06. 30.

Network Security and Intrusion Detection인용 수 15

한 줄 요약

AnoShift는 Kyoto-2006+ 네트워크 트래픽 데이터셋을 사용하여 비지도 이상 탐지에 대한 시간적 분포 이탈을 고려한 구조적 벤치마크를 제안한다. 10년 간의 분포 이탈이 뚜렷하게 나타나며, 훈련 데이터로부터 시간적 거리에 따라 IID, NEAR, FAR 테스트 분할을 기반으로 모델 성능을 평가한다. 분포 이탈 인식과 간단한 딥러닝 정규화 기법을 적용할 경우, 기존의 표준 IID 훈련 대비 성능 향상이 최대 3%까지 가능함을 입증한다.

ABSTRACT

Analyzing the distribution shift of data is a growing research direction in nowadays Machine Learning (ML), leading to emerging new benchmarks that focus on providing a suitable scenario for studying the generalization properties of ML models. The existing benchmarks are focused on supervised learning, and to the best of our knowledge, there is none for unsupervised learning. Therefore, we introduce an unsupervised anomaly detection benchmark with data that shifts over time, built over Kyoto-2006+, a traffic dataset for network intrusion detection. This type of data meets the premise of shifting the input distribution: it covers a large time span ($10$ years), with naturally occurring changes over time (eg users modifying their behavior patterns, and software updates). We first highlight the non-stationary nature of the data, using a basic per-feature analysis, t-SNE, and an Optimal Transport approach for measuring the overall distribution distances between years. Next, we propose AnoShift, a protocol splitting the data in IID, NEAR, and FAR testing splits. We validate the performance degradation over time with diverse models, ranging from classical approaches to deep learning. Finally, we show that by acknowledging the distribution shift problem and properly addressing it, the performance can be improved compared to the classical training which assumes independent and identically distributed data (on average, by up to $3\%$ for our approach). Dataset and code are available at https://github.com/bit-ml/AnoShift/.

연구 동기 및 목표

• 실시간 스트리밍 데이터에서 분포 이탈 하에 비지도 이상 탐지에 대한 벤치마크 부족 문제를 해결하기 위해.
• Kyoto-2006+ 데이터셋이 사용자 행동 변화와 시스템 변화로 인해 10년 간 자연스럽고 점진적인 분포 이탈을 보임을 입증하기 위해.
• 훈련 데이터로부터 시간적 거리에 기반한 세 가지 테스트 분할(IID, NEAR, FAR)을 포함한 시간 기반 평가 프로토콜을 제안하기 위해.
• 분포 이탈을 고려할 경우 실제 운영 환경에서의 모델 일반화 능력과 강건성이 향상됨을 검증하기 위해.
• 분포 이탈 인식 이상 탐지 연구의 재현 가능성을 보장하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 저자들은 히스토GRAM 분석, t-SNE 시각화, 최적 운반 이론을 활용하여 Kyoto-2006+ 데이터셋의 각 특성 분포 변화를 분석하고, 연도 간 분포 이탈을 정량화한다.
• 시간적 가까움에 기반한 삼중 분할 프로토콜을 제안한다: 훈련은 2006–2010년(4년), NEAR는 2011–2013년(3년), FAR는 2014–2015년(2년)으로 구성된다.
• 연속형 특성은 지수형 버킷화(233개 버킷)를 통해 이산화하고, 백분율 특성은 100개 값으로 스케일링하여 원래의 이상/정상 비율을 유지한다.
• IDS_detection, Malware_detection, Ashula_detection 등의 추가 특성은 이상 신호 표현을 위해 유지된다.
• 표준 IID 훈련 대비 분포 이탈 인식 및 기초 지식 정규화 기법을 적용하여 모델 일반화 능력을 향상시킨다.
• 코드, 사전 처리된 데이터 분할(훈련 300k, 각 분할 30k 유지), 전체 데이터셋 버전을 GitHub 및 Bitdefender의 공동 저장소에 공개한다.

실험 결과

연구 질문

• RQ1 Kyoto-2006+ 데이터셋은 10년 간의 수집 기간 동안 측정 가능한 분포 이탈을 보이는가?
• RQ2 시간적 거리가 점점 멀어지는 시기의 데이터로 테스트할 경우 모델 성능이 어떻게 저하되는가(IID 대비 NEAR, FAR)?
• RQ3 분포 이탈을 인식하는 것이 표준 IID 훈련 가정 대비 이상 탐지 성능 향상에 기여하는가?
• RQ4 간단한 정규화 기법이 시간적 분포 이탈으로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ5 시간 순서 기반 평가 프로토콜이 표준 IID 평가보다 실제 모델 일반화를 더 잘 반영하는가?

주요 결과

• Kyoto-2006+ 데이터셋은 10년 간의 비정상성 행동을 보이며, 특성별 분포 이탈, t-SNE 시각화, 최적 운반 이론 기반 거리 측정을 통해 확인된다.
• 이상 탐지 모델은 시간적 거리가 멀어질수록 성능 저하가 지속적으로 나타나며, 특히 FAR 분할(2014–2015년)에서 가장 큰 감소가 관찰된다.
• 제안된 시간 기반 벤치마크(IID, NEAR, FAR)는 시간적 성능 저하를 효과적으로 포착하여, 기존의 표준 IID 분할보다 더 현실적인 평가 프로토콜을 제공한다.
• 분포 이탈을 인식하고 기초 지식 정규화 기법을 적용할 경우, 기존의 고전적 IID 훈련 대비 평균 3%까지 성능 향상이 이루어진다.
• 벤치마크는 분포 이탈 인식 훈련이 데이터가 시간에 따라 변화하는 실제 운영 환경에서 더 높은 강건성과 일반화 능력을 제공함을 입증한다.
• 사전 처리된 데이터셋과 코드는 https://github.com/bit-ml/AnoShift/ 에 공개되어 있어 재현 가능한 연구 및 향후 벤치마크 작업을 가능하게 한다.