[논문 리뷰] PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection

Ronghui Xu, Hao Miao외 3명|arXiv (Cornell University)|2024. 06. 04.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

PeFAD는 시간 시리즈 이상 탐지에 대해 통신 및 계산 비용을 최소화하면서 강력한 표현 학습을 가능하게 하는 파라미터 효율적인 연합 학습 프레임워크를 제안한다. 이는 소규모 어댑터 파라미터의 미세조정을 통해 사전 훈련된 언어 모델(PLM)을 활용한다. 또한 이상 탐지 기반의 마스크 선택 전략과 기밀 보장 기반의 합성 데이터 증류 기법을 도입하여 탐지 정확도를 향상시키고 데이터 이질성 문제를 해결하며, 실제 데이터셋에서 최상의 기존 기준 대비 최대 28.74%의 성능 향상을 달성한다.

ABSTRACT

With the proliferation of mobile sensing techniques, huge amounts of time series data are generated and accumulated in various domains, fueling plenty of real-world applications. In this setting, time series anomaly detection is practically important. It endeavors to identify deviant samples from the normal sample distribution in time series. Existing approaches generally assume that all the time series is available at a central location. However, we are witnessing the decentralized collection of time series due to the deployment of various edge devices. To bridge the gap between the decentralized time series data and the centralized anomaly detection algorithms, we propose a Parameter-efficient Federated Anomaly Detection framework named PeFAD with the increasing privacy concerns. PeFAD for the first time employs the pre-trained language model (PLM) as the body of the client's local model, which can benefit from its cross-modality knowledge transfer capability. To reduce the communication overhead and local model adaptation cost, we propose a parameter-efficient federated training module such that clients only need to fine-tune small-scale parameters and transmit them to the server for update. PeFAD utilizes a novel anomaly-driven mask selection strategy to mitigate the impact of neglected anomalies during training. A knowledge distillation operation on a synthetic privacy-preserving dataset that is shared by all the clients is also proposed to address the data heterogeneity issue across clients. We conduct extensive evaluations on four real datasets, where PeFAD outperforms existing state-of-the-art baselines by up to 28.74%.

연구 동기 및 목표

• 데이터를 중앙 집중적으로 수집할 수 없는 엄격한 기밀 보장 조건 하에서 탈중앙화된 시간 시리즈 이상 탐지 문제를 해결하기 위해.
• 특히 드문 이상 패턴에 대해 데이터 부족과 열악한 표현 학습 문제를 해결하기 위해.
• 모델 성능을 유지하면서도 연합 학습의 통신 및 계산 오버헤드를 줄이기 위해.
• 모델 사전 훈련 및 미세조정 단계에서 이상치의 영향을 완화함으로써 이상 탐지의 강건성을 향상시키기 위해.
• 기밀 보장 기반의 공동 합성 데이터 생성 메커니즘을 통해 클라이언트 간 데이터 이질성 문제를 해결하기 위해.

제안 방법

• 로컬 클라이언트 모델의 백본으로 사전 훈련된 언어 모델(PLM)을 활용하여 다중 모odal 지식을 활용하고 표현 학습을 향상시킨다.
• 소규모 어댑터 파라미터만을 미세조정하고 전송하는 파라미터 효율적인 연합 학습 모듈을 도입하여 통신 및 계산 비용을 감소시킨다.
• 이상 가능성에 기반해 동적으로 마스크 패턴을 선택하는 이상 탐지 기반 마스크 선택(ADMS) 전략을 제안하여 복원 강건성을 향상시킨다.
• 상호 정보량과 워샤프스키 거리 제약 조건을 활용해 기밀 보장 기반의 데이터 증식 기법을 설계하여 클라이언트 간 공유 가능한 일관성 있는 기밀 합성 데이터를 생성한다.
• 공동으로 사용하는 합성 데이터에 지식 증류를 적용하여 클라이언트 모델 간의 일치를 도모하고 이질적인 데이터 분포 간의 일반화 능력을 향상시킨다.
• 연합 학습 기간 동안 특징의 분류 능력과 모델 강건성을 향상시키기 위해 이중 대비 학습 목표를 적용한다.

실험 결과

연구 질문

• RQ1 제한된 로컬 데이터를 가진 연합 환경에서 사전 훈련된 언어 모델이 시간 시리즈 이상 탐지의 표현 학습을 효과적으로 향상시킬 수 있는가?
• RQ2 파라미터 효율적인 미세조정이 연합 시간 시리즈 이상 탐지에서 통신 및 계산 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 이상 탐지 기반 마스크 선택 전략이 동적 및 이상적인 영역에 집중함으로써 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기밀 보장 기반의 합성 데이터가 클라이언트 간 비독립 동일 분포(non-IID) 데이터의 영향을 완화하는 데 기여하는가?
• RQ5 공유된 합성 데이터 기반 지식 증류가 이질적인 연합 환경에서 모델 일반화 능력과 수렴 성능을 어떻게 향상시키는가?

주요 결과

• PeFAD는 네 개의 실제 시간 시리즈 데이터셋에서 최상의 기존 기준 대비 F1 점수 최대 28.74% 향상 달성.
• 사전 훈련된 언어 모델의 활용은 특히 데이터가 적은 환경에서 표현 학습을 크게 향상시켜 희귀 이상 패턴의 탐지 성능을 향상시킨다.
• 이상 탐지 기반 마스크 선택(ADMS) 전략은 시간 시리즈의 동적이고 변화하는 영역에 집중함으로써 모델의 이상 탐지 민감도를 높인다.
• 파라미터 효율적인 미세조정 모듈은 소규모 어댑터 파라미터만 전송함으로써 통신 오버헤드를 줄이며 높은 모델 정확도를 유지한다.
• 상호 정보량과 워샤프스키 거리 제약 조건을 조합한 기밀 보장 기반의 합성 데이터 생성 기법은 고품질의 기밀 데이터를 생성하여 클라이언트 모델 일치도 및 글로벌 모델 안정성을 향상시킨다.
• 절단 실험 결과 각 구성 요소—PLM, ADMS, PPDS—가 전체 성능 향상에 기여하며, 특히 PLM 백본이 표현 학습 향상에 가장 큰 기여를 한다.