[논문 리뷰] Robust Variational Autoencoder for Tabular Data with Beta Divergence

Haleh Akrami, Sergül Aydöre외 2명|arXiv (Cornell University)|2020. 06. 15.

Anomaly Detection Techniques and Applications참고 문헌 17인용 수 5

한 줄 요약

이 논문은 혼합된 범주형 및 연속형 표본 데이터에서 이상치에 대해 훈련의 안정성을 향상시키기 위해 β-분산을 사용하는 강건한 변동형 오토인코더(RTVAE)를 제안한다. 재구성 손실에서 표준 KL 발산 대신 β-분산을 사용함으로써, 모델은 KDDCup 99, NSL-KDD, UNSW-NB15 데이터셋에서 표준 VAE보다 AUC 성능을 뛰어나게 유지하면서도 훈련 데이터에 최대 1%의 오염이 포함된 상황에서도 정확한 이상 탐지 성능을 유지를 한다.

ABSTRACT

We propose a robust variational autoencoder with $β$ divergence for tabular data (RTVAE) with mixed categorical and continuous features. Variational autoencoders (VAE) and their variations are popular frameworks for anomaly detection problems. The primary assumption is that we can learn representations for normal patterns via VAEs and any deviation from that can indicate anomalies. However, the training data itself can contain outliers. The source of outliers in training data include the data collection process itself (random noise) or a malicious attacker (data poisoning) who may target to degrade the performance of the machine learning model. In either case, these outliers can disproportionately affect the training process of VAEs and may lead to wrong conclusions about what the normal behavior is. In this work, we derive a novel form of a variational autoencoder for tabular data sets with categorical and continuous features that is robust to outliers in training data. Our results on the anomaly detection application for network traffic datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 훈련 데이터의 이상치에 민감한 표준 변동형 오토인코더(VAE)의 취약성을 해결하기 위해 정상 행동의 학습된 표현이 왜곡되는 문제를 해결한다.
• 이미지 데이터에 이전에 적용된 바 있는 강건한 β-분산 프레임워크를, 혼합된 범주형 및 연속형 특성을 가진 표본 데이터셋으로 확장한다.
• 범주형 및 연속형 변수를 동시에 처리할 수 있는 RTVAE의 통합 훈련 메커니즘을 개발하여, β-분산 기반 재구성 손실을 활용한다.
• 특히 레이블이 부족한 네트워크 트래픽 데이터셋에서 이상 탐지 성능의 강건성을 향상시키며, 데이터 오염 상황에서도 우수한 성능을 입증한다.

제안 방법

• 이상치에 의한 큰 재구성 오차에 민감하지 않도록, VAE 재구성 손실에서 표준 KL 발산을 β-분산으로 대체한다.
• 이산 확률 분포를 고려한 β-교차엔트로피 공식을 사용하여, 범주형 변수에 대한 β-분산 기반 재구성 손실을 유도한다.
• 가우시안 가정 하에 연속형 변수의 재구성 손실을 설정하며, 수정된 로그우도 항을 통해 β-분산을 가우시안 우도에 적응시킨다.
• 범주형 및 연속형 재구성 손실을 하나의 목적 함수로 통합하여 혼합된 표본 데이터에 적합한 엔드 투 엔드 훈련을 가능하게 한다.
• 연속형 디코더에는 tanh 활성화 함수, 범주형 디코더에는 소프트맥스 활성화 함수를 사용하는 완전히 연결된 신경망 아키텍처를 적용한다.
• 검증 AUC를 기반으로 하이퍼파rameter β를 튜닝하고, 과적합을 방지하기 위해 조기 정지 기법을 적용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 혼합된 특성 유형을 가진 표본 데이터셋에서 이상치가 포함된 훈련 데이터 상황에서 β-분산이 VAE의 강건성을 향상시킬 수 있는가?
• RQ2 네트워크 트래픽 데이터셋에서 데이터 오염 수준이 증가함에 따라 RTVAE의 성능은 표준 VAE보다 어떻게 비교되는가?
• RQ3 진정한 정상 분포가 이상치에 의해 오염된 상황에서도 제안된 β-분산 기반 재구성 손실이 높은 이상 탐지 정확도를 유지하는가?
• RQ4 훈련 데이터에 악성 또는 노이즈가 포함된 상황에서도 RTVAE는 정상 행동의 의미 있는 저차원 표현을 효과적으로 학습할 수 있는가?

주요 결과

• 표준 VAE는 훈련 데이터에 1%의 오염이 포함된 경우에도 성능이 크게 저하되어 이상치에 매우 민감함을 보였다.
• RTVAE는 KDDCup 99, NSL-KDD, UNSW-NB15 등 모든 테스트 데이터셋에서 1% 훈련 오염 상황에서도 안정적이고 높은 AUC 성능을 유지하였다.
• 모델의 강건성은 β-분산이 훈련 중 이상치에 의한 큰 재구성 오차의 영향을 감소시키기 때문으로 기인한다.
• 검증 AUC를 기반으로 β 하이퍼파rameter를 [1e-5, 0.1] 범위에서 튜닝한 결과 최적의 성능을 얻었으며, 특히 낮은 β 값에서 가장 우수한 성능를 기록하였다.
• 표준 VAE에 비해 벤치마크 네트워크 트래픽 데이터셋에서 RTVAE는 이상 탐지 성능이 뛰어나며, 특히 데이터 오염 또는 노이즈가 많은 수집 환경에서 유의미한 성능 향상을 보였다.
• 제안된 방법은 이미지 기반 VAE에서의 β-분산 적용을 표본 데이터에 혼합된 범주형 및 연속형 특성으로 성공적으로 일반화하여, 강건한 표현 학습을 가능하게 하였다.