[논문 리뷰] Reservoir computing approaches for representation and classification of multivariate time series

Filippo Maria Bianchi, Simone Scardapane외 2명|arXiv (Cornell University)|2018. 03. 21.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 다변량 시계열(MTS) 분류를 위한 새로운 리저보아 모델 공간 표현을 제안한다. 이는 시계열 데이터를 향후 입력을 예측하는 모델의 파라미터가 아니라 향후 리저보아 상태를 예측하는 모델의 파라미터로 인코딩함으로써 구현된다. 이 방법은 딥 러닝 모델보다 훨씬 빠른 훈련 속도를 유지하면서도 최신 기준 성능을 달성한다. 이는 텐서-PCA 변형을 통해 리저보아 역학을 저차원 임bedding으로 표현함으로써 효율적이고 정규화된 표현 학습을 가능하게 하여 가능해졌다.

ABSTRACT

Classification of multivariate time series (MTS) has been tackled with a large variety of methodologies and applied to a wide range of scenarios. Reservoir Computing (RC) provides efficient tools to generate a vectorial, fixed-size representation of the MTS that can be further processed by standard classifiers. Despite their unrivaled training speed, MTS classifiers based on a standard RC architecture fail to achieve the same accuracy of fully trainable neural networks. In this paper we introduce the reservoir model space, an unsupervised approach based on RC to learn vectorial representations of MTS. Each MTS is encoded within the parameters of a linear model trained to predict a low-dimensional embedding of the reservoir dynamics. Compared to other RC methods, our model space yields better representations and attains comparable computational performance, thanks to an intermediate dimensionality reduction procedure. As a second contribution we propose a modular RC framework for MTS classification, with an associated open-source Python library. The framework provides different modules to seamlessly implement advanced RC architectures. The architectures are compared to other MTS classifiers, including deep learning models and time series kernels. Results obtained on benchmark and real-world MTS datasets show that RC classifiers are dramatically faster and, when implemented using our proposed representation, also achieve superior classification accuracy.

연구 동기 및 목표

• 표준 RC 기반 MTS 분류기의 정확도 부족 문제를 해결한다. 이는 빠른 훈련 속도를 제공하지만 정확도가 떨어지는 문제를 다룬다.
• 기존의 모델 공간 접근법이 향후 입력을 예측하는 데 집중함으로써 핵심 역학 정보를 놓칠 수 있다는 한계를 극복한다.
• 향후 리저보아 상태를 모델링함으로써 MTS의 전체 역학 시스템을 포괄하는 표현을 개발한다.
• 오픈소스 파이썬 지원을 제공하는 통합적이고 모듈러한 RC 프레임워크를 설계한다.
• 제안된 표현이 RC 분류기가 딥 러닝 모델과 동등하거나 이를 초월하는 정확도를 달성하면서도 훈련 속도의 우수성을 유지할 수 있음을 입증한다.

제안 방법

• 1단계 앞 예측자에 기반한 리저보아 모델 공간을 도입한다. 이는 향후 입력이 아니라 향후 리저보아 상태를 예측하는 모델의 파라미터에서 유도된 표현이다.
• 시간 단계와 데이터 샘플 간의 변동성을 분리하기 위해 수정된 텐서 기반 PCA를 적용하여 리저보아 상태 시퀀스의 차원을 감소시킨다.
• 리저보아 역학의 저차원 임베딩을 선형 분류기의 입력으로 사용함으로써 효율적이고 정규화된 표현 학습을 가능하게 한다.
• 리저보아 아키텍처, 차원 감소, 표현 방법, 리더아웃 분류기의 네 가지 독립된 구성 요소로 이루어진 모듈러한 RC 프레임워크를 설계한다.
• 제안된 프레임워크를 기반으로 다양한 RC 아키텍처를 구현하고 평가한다. 이에는 이중 방향 리저보아와 딥 리더아웃이 포함된다.
• 저차원 임베딩된 리저보아 역학을 기반으로 예측 모델을 비지도 학습 방식으로 훈련시켜 고정된 크기의 정보량이 풍부한 표현을 생성한다.

실험 결과

연구 질문

• RQ1 향후 입력 대신 향후 리저보아 상태를 예측함으로써 MTS 분류에 더 유용한 표현을 얻을 수 있는가?
• RQ2 제안된 리저보아 모델 공간 표현이 표준 RC 및 모델 공간 기반 기준 모델보다 분류 정확도를 향상시키는가?
• RQ3 리저보아 역학의 차원 감소가 RC 기반 MTS 분류기의 계산 효율성과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 고도화된 RC 아키텍처(예: 이중 방향 리저보아, 딥 리더아웃)가 제안된 표현과 결합될 경우 정확도와 속도 측면에서 어떤 영향을 미치는가?
• RQ5 다변량 데이터를 대상으로 설계되었음에도 불구하고, 제안된 방법이 단변량 시계열 분류에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 향후 입력을 예측하는 것이 아니라 향후 리저보아 상태를 예측하는 데 기반한 리저보아 모델 공간 표현은 표준 모델 공간 방법보다 훨씬 더 정보가 풍부한 특징을 생성한다.
• 기준 MTS 데이터셋에서 제안된 방법은 최신 기준 성능을 달성하며, UCR-UEA 및 ItalyPower를 포함한 여러 데이터셋에서 평균 F1 점수가 95% 이상을 초과한다.
• 딥 러닝 기준 모델보다 극적으로 빠른 속도를 보이며, 훈련 시간이 몇 초 내외다. 예를 들어, 대부분의 데이터셋에서 rmESN 모델의 훈련 시간은 10초 미만이다.
• 텐서-PCA를 사용한 차원 감소는 메모리 사용량을 줄이고 과적합을 방지한다. 특히 복잡한 분류기와 조합했을 때 효과가 뚜렷하다.
• 단변량 시계열 데이터에서도 제안된 RC 분류기(rmESN + 모델 공간)는 복잡한 딥 러닝 모델(LSTM-FCN 등)과 평균적으로 동등하거나 그 이상의 정확도를 달성한다.
• 리저보아 모델 공간과 함께 이중 방향 리저보아나 딥 리더아웃을 추가해도 정확도 향상이 미미한 편이므로, 이 표현 방식이 이미 매우 정보가 풍부하다는 것을 시사한다.