[논문 리뷰] TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series

Yang Jiao, Kai Yang외 4명|arXiv (Cornell University)|2020. 10. 04.

Time Series Analysis and Forecasting참고 문헌 47인용 수 4

한 줄 요약

TimeAutoML는 다변량 비정규 샘플링 시계열 데이터를 위한 자율적이고 자기지도 학습 기반의 표현 학습 프레임워크를 제안한다. 이는 자동 초파rameter 최적화, 음성 샘플 생성을 통한 대비 학습, 보조 분류 작업을 통합한다. 모델은 85개의 UCR 데이터셋 중 78개에서 이상 탐지에서 최신 기술을 초월하며 최대 20% 향상된 AUC 성능을 기록한다.

ABSTRACT

Multivariate time series (MTS) data are becoming increasingly ubiquitous in diverse domains, e.g., IoT systems, health informatics, and 5G networks. To obtain an effective representation of MTS data, it is not only essential to consider unpredictable dynamics and highly variable lengths of these data but also important to address the irregularities in the sampling rates of MTS. Existing parametric approaches rely on manual hyperparameter tuning and may cost a huge amount of labor effort. Therefore, it is desirable to learn the representation automatically and efficiently. To this end, we propose an autonomous representation learning approach for multivariate time series (TimeAutoML) with irregular sampling rates and variable lengths. As opposed to previous works, we first present a representation learning pipeline in which the configuration and hyperparameter optimization are fully automatic and can be tailored for various tasks, e.g., anomaly detection, clustering, etc. Next, a negative sample generation approach and an auxiliary classification task are developed and integrated within TimeAutoML to enhance its representation capability. Extensive empirical studies on real-world datasets demonstrate that the proposed TimeAutoML outperforms competing approaches on various tasks by a large margin. In fact, it achieves the best anomaly detection performance among all comparison algorithms on 78 out of all 85 UCR datasets, acquiring up to 20% performance improvement in terms of AUC score.

연구 동기 및 목표

• 비정규 샘플링 주기와 변동 길이를 가진 다변량 시계열 데이터에 대해 효과적인 표현을 학습하는 데 도전한다.
• 모든 표현 학습 파이프라인 구성 과정을 자동화하여 수동 초파rameter 조정을 제거한다.
• 새로운 음성 샘플 생성 방법과 보조 분류 작업을 통해 표현 품질을 향상시킨다.
• 실제 비정규 시계열 데이터에서 이상 탐지 및 군집화와 같은 다양한 후행 작업에 대해 강력한 성능을 제공한다.

제안 방법

• TimeAutoML는 비정규 샘플링 간격을 처리하기 위해 학습 가능한 위치 인코딩을 갖춘 엔드 투 엔드 오토인코더 기반 아키텍처를 사용한다.
• 표현의 분류 능력을 향상시키기 위해 음성 샘플 생성 전략을 활용한 대비 학습 목표를 통합한다.
• 정상 시계열과 생성된 음성 샘플을 구분하는 보조 분류 헤드를 도입하여 특징 학습을 강화한다.
• 모든 작업에 최적의 모듈과 초파라미터를 자동으로 선택하기 위해 신경망 아키텍처 탐색(NAS) 전략을 사용한다.
• 잠재 공간 표현은 GMM를 통한 군집화 및 밀도 추정을 통한 이상 탐지와 같은 후행 작업에 사용된다.
• 자기지도 손실 함수 $ L_{\mathrm{self}} $ 는 레이블이 없는 데이터에서 가짜 레이블을 생성하여 지도 없이도 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 자율적 표현 학습 프레임워크는 비정규 샘플링 다변량 시계열 데이터에서 수동 조정된 베이스라인을 초월할 수 있는가?
• RQ2 다양한 비정규 샘플링 주기에서 TimeAutoML는 이상 탐지 및 군집화와 같은 다양한 후행 작업에서 어떻게 성능을 발휘하는가?
• RQ3 음성 샘플 생성 및 보조 분류 작업이 모델의 표현 능력에 기여하는 정도는 어떠한가?
• RQ4 TimeAutoML는 데이터 오염 및 다양한 샘플링 비정규성에 대해 얼마나 강건한가?

주요 결과

• TimeAutoML는 85개의 UCR 데이터셋 중 78개에서 이상 탐지 성능이 최고로, 최신 기술 대비 최대 20% 향상된 AUC 점수를 기록한다.
• 비정규 샘플링 주기 변화에 걸쳐도 뛰어난 강건성을 유지하며, 샘플링 주기 비정규성 $ \beta $ 가 0에서 0.7으로 증가해도 AUC 점수가 안정적으로 유지된다.
• 다변량 시계열 군집화 작업에서는 평가된 5개 데이터셋 전부에서 가장 높은 NMI 점수를 기록하며, DTCR, K-shape, SPIRAL 등의 방법을 모두 압도한다.
• 절단 실험 결과, 자기지도 손실 $ L_{\mathrm{self}} $ 를 제거할 경우 성능 저하가 발생함을 확인하여, 이 손실 함수가 표현 학습에서 중요한 역할을 한다는 것을 입증한다.
• 잠재 공간 내 시각화 결과, 정상 시계열은 조밀하게 군집되어 있으며, 이상 시계열은 명확히 분리되어 있음을 확인하여 해석 가능한 이상 탐지가 가능함을 입증한다.
• 모델는 뛀난 일반화 능력을 보이며, 데이터 오염 상황에서도 성능 저하가 약간만 증가함을 통해 노이즈가 많은 입력에 대해 강건함을 보여준다.