[논문 리뷰] Grouped Convolutional Neural Networks for Multivariate Time Series

Subin Yi, Janghoon Ju외 2명|arXiv (Cornell University)|2017. 03. 29.

Time Series Analysis and Forecasting참고 문헌 26인용 수 31

한 줄 요약

이 논문은 공분산 구조를 이용해 다변량 시계열을 상관관계가 있는 그룹으로 분할함으로써 효율적이고 파rameter 공유 학습을 가능하게 하는 그룹화된 컨volutional 신경망(G-CNNs)을 제안한다. 시퀀스를 명시적으로 클러스터링(스펙트럴 클러스터링)하거나 백프로파게이션을 통한 암묵적인 학습을 통해 그룹을 도출함으로써, 지하수 및 드론 센서 데이터셋에서 표준 CNN과 RCNN보다 우수한 성능을 내며 최대 23% 낮은 SRMSE를 달성한다.

ABSTRACT

Analyzing multivariate time series data is important for many applications such as automated control, fault diagnosis and anomaly detection. One of the key challenges is to learn latent features automatically from dynamically changing multivariate input. In visual recognition tasks, convolutional neural networks (CNNs) have been successful to learn generalized feature extractors with shared parameters over the spatial domain. However, when high-dimensional multivariate time series is given, designing an appropriate CNN model structure becomes challenging because the kernels may need to be extended through the full dimension of the input volume. To address this issue, we present two structure learning algorithms for deep CNN models. Our algorithms exploit the covariance structure over multiple time series to partition input volume into groups. The first algorithm learns the group CNN structures explicitly by clustering individual input sequences. The second algorithm learns the group CNN structures implicitly from the error backpropagation. In experiments with two real-world datasets, we demonstrate that our group CNNs outperform existing CNN based regression methods.

연구 동기 및 목표

• 복잡한 시스템에서 고차원의 다변량 시계열로부터 강건하고 일반화된 특징을 학습하는 데 도전한다.
• 표준 CNN과 RNN이 완전히 연결된 마르코프ian한 구조를 가정하고 고차원 입력에서 어려움을 겪는 점을 극복한다.
• 파rameter 공유를 통해 시계열 간의 구조적 상관관계를 활용함으로써 모델 복잡도를 감소시키고 일반화 능력을 향상시킨다.
• 명시적(스펙트럴 클러스터링)과 암묵적(백프로파게이션 기반) 구조 학습 알고리즘 두 가지를 개발하여 입력 신호를 그룹화함으로써 더 효율적인 특징 학습을 가능하게 한다.

제안 방법

• 공분산 구조에 기반해 입력 다변량 시계열을 그룹으로 분할하여 국소적이고 파라미터 공유 컨볼루션을 가능하게 한다.
• 유사한 신호 동역학을 기반으로 시퀀스를 명시적으로 클러스터링함으로써 그룹을 학습하는 스펙트럴 클러스터링을 사용한다.
• 사전 클러스터링 없이 오차 백프로파게이션 과정에서 그룹 구조를 암묵적으로 발견하는 방법을 구현한다.
• 각 그룹 내에서 커널을 공유하는 G-CNNs를 설계함으로써 파라미터 수를 감소시키고 노이즈에 대한 강건성을 향상시킨다.
• 표준 CNN과 순환 CNN(RCNN)에 모두 G-CNN 아키텍처를 적용하여 그룹화된 컨볼루션을 통한 시간적 모델링을 가능하게 한다.
• 모든 모델 간 공정한 비교를 위해 일관된 초모수를 사용하여 백프로파게이션을 통해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 상관관계가 있는 다변량 시계열을 그룹화하면 딥 CNN에서 특징 학습과 회귀 성능이 향상되는가?
• RQ2 스펙트럴 클러스터링을 통한 입력 시퀀스의 명시적 클러스터링이 비정형 CNN보다 더 좋은 일반화 성능을 낼 수 있는가?
• RQ3 백프로파게이션 중에 암묵적인 그룹 구조를 발견하는 것이 명시적 클러스터링과 표준 CNN보다 우수한가?
• RQ4 실제 다변량 시계열에서 G-CNN은 바닐라 CNN과 RCNN에 비해 예측 정확도에서 어떻게 비교되는가?
• RQ5 상관관계가 있는 신호 그룹 내에서의 파라미터 공유가 모델 복잡도 감소와 강건성 향상에 얼마나 기여하는가?

주요 결과

• 암묵적 클러스터링(G-CNN, coeff 방법)이 지하수 데이터셋에서 0.754의 최저 SRMSE를 기록하여 바닐라 RCNN(0.985 SRMSE)을 능가했다.
• 드론 비행 데이터셋에서 스펙트럴 클러스터링을 적용한 G-RCNN은 0.438 SRMSE를 기록하여 바닐라 CNN(0.464 SRMSE)보다 5.8% 향상된 성능을 보였다.
• 드론 데이터셋에서는 명시적 클러스터링 방법이 암묵적 방법보다 성능이 뛰어났지만, 지하수 데이터셋에서는 반대였다.
• 그룹화된 모델은 두 데이터셋 모두에서 일관되게 SRMSE를 감소시켜 일반화 능력 향상과 노이즈에 대한 강건성을 입증했다.
• 제안된 G-CNNs는 선형 회귀 및 릿지 회귀 모델보다 유의미하게 뛰어나며, 지하수 데이터에서 SRMSE 값이 1.298 이상이었다.
• 결과적으로 공분산 구조를 활용한 입력 그룹화가 더 효율적이고 정확한 다변량 시계열 회귀를 가능하게 한다는 것이 확인되었다.