[논문 리뷰] Learning Graph Structures with Transformer for Multivariate Time Series Anomaly Detection in IoT

Zekai Chen, Dingshuo Chen외 3명|arXiv (Cornell University)|2021. 04. 08.

Anomaly Detection Techniques and Applications참고 문헌 47인용 수 507

한 줄 요약

이 논문은 IoT 센서 간의 동적 그래프 구조를 자동으로 학습하여 다변량 시계열 이상 탐지 성능을 향상시키는 Transformer 기반 프레임워크인 GTA를 제안한다. 기울기 기반 Gumbel-softmax 기반 연결 학습 정책, 새로운 감염 전파 그래프 컨볼루션, 다중 브랜치 어텐션 메커니즘을 사용함으로써, 기존 방법에 비해 효율성과 정확도를 향상시키며 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Many real-world IoT systems, which include a variety of internet-connected sensory devices, produce substantial amounts of multivariate time series data. Meanwhile, vital IoT infrastructures like smart power grids and water distribution networks are frequently targeted by cyber-attacks, making anomaly detection an important study topic. Modeling such relatedness is, nevertheless, unavoidable for any efficient and effective anomaly detection system, given the intricate topological and nonlinear connections that are originally unknown among sensors. Furthermore, detecting anomalies in multivariate time series is difficult due to their temporal dependency and stochasticity. This paper presented GTA, a new framework for multivariate time series anomaly detection that involves automatically learning a graph structure, graph convolution, and modeling temporal dependency using a Transformer-based architecture. The connection learning policy, which is based on the Gumbel-softmax sampling approach to learn bi-directed links among sensors directly, is at the heart of learning graph structure. To describe the anomaly information flow between network nodes, we introduced a new graph convolution called Influence Propagation convolution. In addition, to tackle the quadratic complexity barrier, we suggested a multi-branch attention mechanism to replace the original multi-head self-attention method. Extensive experiments on four publicly available anomaly detection benchmarks further demonstrate the superiority of our approach over alternative state-of-the-arts. Codes are available at https://github.com/ZEKAICHEN/GTA.

연구 동기 및 목표

• 알 수 없는 복잡하고 비선형적인 센서 간 의존성으로 인해 다변량 IoT 시계열에서 이상을 탐지하는 데 도전하는 것.
• 고차원 센서 데이터에서 기존 그래프 학습 및 어텐션 메커니즘의 이차 복잡도 문제를 해결하는 것.
• 시간적 의존성과 센서 간 위상적 관계를 동시에 모델링하여 이상 탐지 성능을 향상시키는 것.
• 사전 구조 지식 없이도 센서 간 관계를 자동으로 발견할 수 있는 종단간(end-to-end), 미분 가능한 프레임워크를 개발하는 것.

제안 방법

• 기울기 기반 Gumbel-softmax 샘플링 기법을 활용한 미분 가능한 연결 학습 정책을 사용하여 상호 이원 방향 센서 연결을 학습함으로써 종단간 훈련이 가능해지고 계산 복잡도가 감소한다.
• 이론적으로 새로운 감염 전파(Infection Propagation, IP) 그래프 컨볼루션을 도입하여 이상 영향의 흐름을 센서 네트워크 전반에 걸쳐 모델링하고 루트 원인으로 인한 연쇄적 영향을 포착한다.
• 다양한 스케일의 확장된 컨볼루션과 그래프 컨볼루션을 조합한 계층적 컨텍스트 인코딩 블록을 통해 장거리 시간적 의존성을 모델링한다.
• 표준 다중 헤드 자기 어텐션의 이차 복잡도를 줄이면서도 장거리 컨텍스트 모델링 능력을 유지하는 다중 브랜치 어텐션 메커니즘을 제안한다.
• 통합된 Transformer 기반 아키텍처 내에서 그래프 구조 학습, 확장된 컨볼루션을 통한 시간적 모델링, 어텐션 기반 예측을 통합한다.
• 각 노드의 이웃 수를 제한하는 전용 손실 항목을 도입하여 추론 효율성을 향상시키고 학습된 연결의 노이즈를 감소시킨다.

실험 결과

연구 질문

• RQ1 사전 위상 지식 없이도, 종단간, 미분 가능한 방법으로 다변량 시계열에서 의미 있는 센서 의존성을 자동으로 학습할 수 있는가?
• RQ2 정적 또는 히ュ리스틱 기반 그래프 구축 방식에 비해, 동적 그래프 구조 학습이 이상 탐지 성능에 어떻게 기여하는가?
• RQ3 다중 브랜치 어텐션 메커니즘이 장거리 시퀀스에서 자기 어텐션의 계산 복잡도를 효과적으로 줄일 수 있는가?
• RQ4 그래프 컨볼루션을 통해 이상 전파를 모델링함으로써, 연쇄적 또는 간접적인 이상 탐지 능력이 얼마나 향상되는가?

주요 결과

• GTA는 SMAP, MSL, SWaT, WADI를 포함한 네 가지 공개 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 기존 방법에 비해 F1 점수에서 뚜렷한 향상을 보였다.
• 제거 실험(ablation study) 결과, 그래프 학습, 제안된 연결 학습 정책, Transformer 기반 아키텍처가 모두 필수적인 구성 요소임을 확인하였으며, 이 중 하나라도 제거될 경우 성능이 크게 떨어졌다.
• 실제 사이버 공격 시나리오, 예를 들어 25.16분 동안 지속된 WADI 공격에서도 모델이 이상을 정확히 국소화할 수 있었으며, 공격을 받은 센서가 정상 범위에 머물러 있더라도 후속 센서에서 비정상 예측을 감지하였다.
• 사례 연구 결과, 학습된 그래프 구조가 실제 위상 관계를 정확히 반영하고 있음을 확인하였으며, 예를 들어 LEAK DIFF PRESSURE 센서가 연쇄적 영향으로 인해 여러 하류 센서에 연결되어 있음을 보여주었다.
• 다중 브랜치 어텐션 메커니즘은 계산 복잡도를 줄이면서도 높은 성능을 유지하여 모바일 및 IoT 환경에서의 효율적 구현 가능성을 입증하였다.
• 강한 위상적 의존성(예: SWaT, WADI)을 보이는 데이터셋에서는 그래프 구조 학습이 더 큰 성능 향상을 가져왔고, 상대적으로 센서 간 관계가 약한 데이터셋(예: SMAP, MSL)에서는 그 효과가 다소 떨어졌다.