[논문 리뷰] Representation Learning with Deconvolution for Multivariate Time Series Classification and Visualization

Zhiguang Wang, Wei Song외 6명|arXiv (Cornell University)|2016. 10. 24.

Time Series Analysis and Forecasting참고 문헌 18인용 수 10

한 줄 요약

이 논문은 다변량 시계열에서 비감독 표현 학습을 위한 신호 기반 평균 근사(SAX) 이산화를 적용한 복소화 신경망을 제안한다. 교차 채널 상관관계를 포착하고 특징을 SAX-단어의 백과 형태로 변환함으로써 분류 정확도를 향상시키며, 시계열을 클래스 기반의 복잡한 네트워크로 시각화할 수 있다. 이는 기준 데이터셋에서 거리 기반 기반선보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a new model based on the deconvolutional networks and SAX discretization to learn the representation for multivariate time series. Deconvolutional networks fully exploit the advantage the powerful expressiveness of deep neural networks in the manner of unsupervised learning. We design a network structure specifically to capture the cross-channel correlation with deconvolution, forcing the pooling operation to perform the dimension reduction along each position in the individual channel. Discretization based on Symbolic Aggregate Approximation is applied on the feature vectors to further extract the bag of features. We show how this representation and bag of features helps on classification. A full comparison with the sequence distance based approach is provided to demonstrate the effectiveness of our approach on the standard datasets. We further build the Markov matrix from the discretized representation from the deconvolution to visualize the time series as complex networks, which show more class-specific statistical properties and clear structures with respect to different labels.

연구 동기 및 목표

• 대규모 다변량 시계열 데이터로부터 효과적이고 계층적인 표현을 완전한 감독 없이 학습하는 데 도전한다.
• 다변량 시퀀스 내의 교차 채널 상관관계와 시간적 의존성을 포착함으로써 분류 성능을 향상시킨다.
• 마르코프 행렬을 사용해 학습된 특징을 복잡한 네트워크로 변환함으로써 해석 가능한 시계열 시각화를 가능하게 한다.
• 계산 비용이 높고 노이즈에 민감한 등의 한계를 가진 거리 기반 방법의 문제점을 종합적인 특징 학습을 통해 해결한다.
• 손수 설계된 특징과 하이퍼파라미터 튜닝에 대한 의존도를 줄이는 자기지도 학습 및 자동화된 접근법을 제공한다.

제안 방법

• 원시 다변량 시계열에서 계층적 표현을 학습하기 위해 복소화 네트워크 아키텍처를 설계하였으며, 채널 별로 독립적으로 풀링을 적용하여 공간적 구조를 유지한다.
• 특징 학습 중 상호 채널 의존성을 모델링하기 위해 교차 채널 상관관계를 콘볼루션 연산을 통해 포착한다.
• 학습된 특징 맵을 기호어로 이산화하기 위해 신호 기반 평균 근사(SAX)를 적용하여 백-오브-워드 표현을 구성한다.
• 백-오브-SAX-워드 표현을 분류기의 입력으로 사용하여 일반화 성능 향상과 노이즈 영향 감소를 달성한다.
• 이산화된 표현에서 마르코프 행렬을 구성하여 시계열을 복잡한 네트워크로 시각화하고, 클래스 기반의 고유한 위상적 구조를 드러낸다.
• 하이퍼파rameter 튜닝을 효율적으로 수행하기 위해 베이지안 최적화를 적용한다. 이는 SAX의 박자 수와 네트워크 아키텍처를 포함한다.

실험 결과

연구 질문

• RQ1 복소화 네트워크는 자기지도 학습 방식으로 다변량 시계열에서 계층적이고 교차 채널 표현을 효과적으로 학습할 수 있는가?
• RQ2 백-오브-SAX-워드 표현은 원시 특징 벡터에 비해 분류 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 이산화된 표현은 서로 다른 클래스에 대해 고유한 구조적 패턴을 드러내는 복잡한 네트워크로 효과적으로 시각화될 수 있는가?
• RQ4 제안된 방법은 ERP와 TWED와 같은 전통적인 시퀀스 거리 기반 접근법보다 표준 다변량 시계열 벤치마크에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 정상 및 비정상 시계열 간에 마르코프 네트워크 시각화의 통계적 특성(예: 모듈라리티, 평균 경로 길이)은 어떻게 다를까?

주요 결과

• 백-오브-SAX-워드 표현은 원시 특징 벡터보다 낮은 테스트 오차율을 달성했으며, ECG 데이터셋에서는 0.2의 테스트 오차를 기록했고 Wafer 데이터셋에서는 0.035였으며, 벡터 기반 기준선 대비 각각 0.13과 0.011이었다.
• ECG 데이터셋에서 평균 차수, 모듈라리티, 페이지랭크 지수, 평균 경로 길이의 네 가지 네트워크 통계치 모두 정상 및 비정상 클래스 간에 유의미한 차이가 있었다(p < 0.05).
• Wafer 데이터셋에서는 레이블 간 유의미한 차이가 나타난 요소로 평균 경로 길이만 확인되었으며, 이는 간선 가중치의 비대칭성이 위상 감도에 영향을 줄 수 있음을 시사한다.
• 마르코프 네트워크의 시각화 결과, 정상 ECG 샘플은 둥근 형태의 레이아웃을 형성한 반면, 비정상 샘플은 좁고 꼬부라진 형태를 띠었다.
• Wafer 정상 샘플은 규칙적인 폐쇄형 형태의 구조를 보였고, 비정상 샘플은 개방형, 가장자리를 관통하는, 두꺼운 간선을 가진 네트워크를 나타냈다.
• 거리 기반 기반선 대비 뛰어난 성능을 보였으며, 전체 파이프라인은 표준 벤치마크에서 최고 성능을 기록했다.