[논문 리뷰] Anomaly Detection and Interpretation using Multimodal Autoencoder and Sparse Optimization

Yasuhiro Ikeda, Keisuke Ishibashi외 3명|arXiv (Cornell University)|2018. 12. 18.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 9

한 줄 요약

이 논문은 크로스도메인 ICT 시스템 데이터에서 이상을 탐지하고 해석하기 위해 다중모odal 오토인코더(MAE)와 희소 최적화 기반 방법을 제안한다. MAE는 이질적인 데이터 유형(예: MIB, 플로우, 시스템로그) 간의 비선형 관계를 학습하는 반면, 희소 최적화는 국소화된 이상에 기여하는 최소 입력 차원 집합을 식별하여 기존 오토인코더와 PCA에 비해 해석 가능성과 탐지 정확도를 크게 향상시킨다. 실제 데이터 및 벤치마크 데이터셋에서 검증되었다.

ABSTRACT

Automated anomaly detection is essential for managing information and communications technology (ICT) systems to maintain reliable services with minimum burden on operators. For detecting varying and continually emerging anomalies as differences from normal states, learning normal relationships inherent among cross-domain data monitored from ICT systems is essential. Deep-learning-based anomaly detection using an autoencoder (AE) is therefore promising for such complicated learning; however, its interpretation is still problematic. Since the dimensions of the input data contributing to the detected anomaly are not directly indicated in an AE, they are not suitable for localizing anomalies in large ICT systems composed of a huge amount of equipment. We propose an algorithm using sparse optimization for estimating contributing dimensions to anomalies detected with AEs. We also propose a multimodal AE (MAE) for effectively learning the relationships among cross-domain data, which can induce nonlinearity and differences in learnability among data types. We evaluated our algorithms with several datasets including real measured data in comparison with conventional algorithms and confirmed the superiority of our estimation algorithm in specifying contributing dimensions of anomalous data and our MAE in detecting anomalies in cross-domain data.

연구 동기 및 목표

• 오토인코더가 기여하는 입력 차원을 식별하지 못하는 대규모 ICT 시스템에서 이상을 국소화하는 데 도전하는 것.
• 비선형적이고 이질적인 관계를 모델링하여 크로스도메인 데이터(예: MIB, 플로우, 시스템로그)에서 이상 탐지를 향상시키는 것.
• 검출된 이상을 해석하기 위해 이상성의 원인이 되는 최소 입력 특성 집합을 추정하는 방법을 개발하는 것.
• 실제 측정 데이터와 벤치마크 데이터셋에서 제안된 방법을 평가하여 기존의 표준 오토인코더와 PCA 접근 방식보다 뛰어난 성능을 보여주는 것.

제안 방법

• 이질적인 데이터 유형(MIB, 플로우, 시스템로그)으로부터 공동 표현을 학습하기 위해, 각 모odal을 별도로 사전 훈련하고 공유되는 블로킹 레이어를 미세조정하는 다중모달 오토인코더(MAE)를 설계한다.
• 오토인코더의 재구성 오차에 희소 최적화를 적용하여 이상에 기여하는 최소 입력 차원 집합을 식별하고 기여 벡터의 희소성을 증진시킨다.
• 다양한 데이터 유형 간 척도의 차이를 보정하기 위해 MAE에서 가중 평균 제곱오차(wMSE) 손실을 사용하여 시스템로그와 같이 분산이 낮은 모달리티에서의 이상 감지 민감도를 향상시킨다.
• 각 입력 차원의 기여도는 재구성 오차의 기울기 기반 분석을 통해 계산되며, L1 정규화를 통해 희소성가 조건을 강제한다.
• 실제 네트워크 데이터와 벤치마크 데이터셋을 사용하여 표준 오토인코더와 PCA 대비 탐지 및 국소화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 크로스도메인 ICT 시스템의 이질적인 데이터 간 복잡한 비선형 관계를 효과적으로 학습할 수 있는 다중모달 오토인코더가 가능한가?
• RQ2 희소 최적화가 검출된 이상에 기여하는 최소 입력 차원 집합을 정확히 식별하여 효과적인 국소화를 가능하게 하는가?
• RQ3 제안된 MAE가 MIB, 플로우, 시스템로그 등 다양한 데이터 유형에서 이상 탐지에 표준 오토인코더와 PCA보다 뛰어나게 성능을 발휘하는가, 특히 시스템로그와 같이 분산이 낮은 모달리티에서도 성능이 뛰어난가?
• RQ4 제안된 방법은 규칙 기반 또는 전통적인 학습 기반 접근 방식과 비교해 실제 네트워크 장애 시나리오에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 희소 최적화 방법은 재구성 오차 기반 추정에 비해 기여하는 차원을 더 잘 식별하여 대규모 ICT 시스템에서 이상의 정확한 국소화를 가능하게 했다.
• 실제 네트워크 데이터에서 MAE는 20개의 장애 중 10개를 탐지했으며, 표준 오토인코더와 PCA는 각각 9개를 탐지했다. 그 중 8개의 장애는 MAE 전용으로 탐지되었는데, 이는 시스템로그 이상에 대한 민감도 향상 덕분이었다.
• 장애 #7(SAP 포트 상태 변경)는 MAE에 의해 탐지되었지만 표준 오토인코더나 PCA에서는 탐지되지 않았다. 이는 사전 훈련과 wMSE 정규화를 통해 MAE가 분산이 낮은 모달리티에서의 이상도 탐지할 수 있음을 보여준다.
• 이상 국소화 성능으로 TCP SYN 플러드(플로우 데이터 기반)와 핑크 체크 실패(MIB 트래픽 볼륨 기반)와 같은 이상을 성공적으로 식별했으며, 기여도 값은 현장 운영자가 확인한 원인과 일치했다.
• 검출 및 검증된 장애에 대한 TPR은 MAE에서 0.5였고, 표준 오토인코더와 PCA는 각각 0.45였으며, 이는 MAE가 더 높은 탐지 신뢰도를 제공한다는 것을 의미한다.
• 이 방법은 수작업으로 설정한 임계값에 대한 의존도를 감소시켰다. 한 사용 사례에서는 1,141개의 규칙 기반 임계값을 단일 정상 상태 훈련 단계와 단일 MSE 임계값으로 대체하였다.