[논문 리뷰] Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis

Jingyuan Wang, Ze Wang외 2명|arXiv (Cornell University)|2018. 06. 23.

Time Series Analysis and Forecasting참고 문헌 36인용 수 6

한 줄 요약

이 논문은 다중 수준 이산 웨이블릿 분해를 통합한 훈련 가능한 웨이블릿 기반 딥러닝 아키텍처인 Multilevel Wavelet Decomposition Network (mWDN)을 제안한다. mWDN은 백프로파게이션을 통해 웨이블릿 파rameter를 최적화함으로써 주파수 인식 표현을 추출하며, 이는 시간 시리즈 분류를 위한 Residual Classification Flow (RCF) 및 예측을 위한 다중 주파수 LSTM (mLSTM) 두 모델에 활용되어 40개의 UCR 데이터셋과 실세계 사용자 수 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 해석 가능한 중요도 분석 방법을 통해 핵심 특징과 레이어를 식별한다.

ABSTRACT

Recent years have witnessed the unprecedented rising of time series from almost all kindes of academic and industrial fields. Various types of deep neural network models have been introduced to time series analysis, but the important frequency information is yet lack of effective modeling. In light of this, in this paper we propose a wavelet-based neural network structure called multilevel Wavelet Decomposition Network (mWDN) for building frequency-aware deep learning models for time series analysis. mWDN preserves the advantage of multilevel discrete wavelet decomposition in frequency learning while enables the fine-tuning of all parameters under a deep neural network framework. Based on mWDN, we further propose two deep learning models called Residual Classification Flow (RCF) and multi-frequecy Long Short-Term Memory (mLSTM) for time series classification and forecasting, respectively. The two models take all or partial mWDN decomposed sub-series in different frequencies as input, and resort to the back propagation algorithm to learn all the parameters globally, which enables seamless embedding of wavelet-based frequency analysis into deep learning frameworks. Extensive experiments on 40 UCR datasets and a real-world user volume dataset demonstrate the excellent performance of our time series models based on mWDN. In particular, we propose an importance analysis method to mWDN based models, which successfully identifies those time-series elements and mWDN layers that are crucially important to time series analysis. This indeed indicates the interpretability advantage of mWDN, and can be viewed as an indepth exploration to interpretable deep learning.

연구 동기 및 목표

• 시간 시리즈에 대한 딥러닝에서 효과적인 주파수 모델링의 부족을 해결하기 위해, 엔드 투 엔드 훈련 프레임워크에 웨이블릿 분해를 통합한다.
• 기존의 고정된 전처리 단계로 사용되는 전통적 웨이블릿 변환의 한계를 극복하여, 딥러닝 모델과 함께 공동 최적화되지 않는 문제를 해결한다.
• 웨이블릿의 시간-주파수 국소화 특성을 유지하면서도 글로벌 파rameter 정 fine-tuning 이 가능한 주파수 인식 딥러닝 모델을 개발한다.
• 예측에 대한 모델의 해석 가능성을 향상시키기 위해, 중요한 시간 시리즈 요소와 mWDN 레이어를 식별할 수 있는 중요도 분석 방법을 도입한다.
• 엔드 투 엔드 훈련 가능한 웨이블릿 기반 아키텍처를 통해 시간 시리즈 분류 및 예측 작업에서 뛰어난 성능을 입증한다.

제안 방법

• 모든 웨이블릿 필터 파rameter가 백프로파게이션을 통해 훈련 가능한 다중 수준 이산 웨이블릿 분해(differentiable wavelet decomposition layer)를 제안하는 Multilevel Wavelet Decomposition Network (mWDN)을 개발한다.
• 다중 수준 이산 웨이블릿 분해(MDWD)를 신경망 레이어로 변환하여 원시 시간 시리즈에서 계층적인 주파수 하위시리즈를 추출할 수 있도록 한다.
• 시간 시리즈 분류를 위한 Residual Classification Flow (RCF)를 설계하며, mWDN을 통해 분해된 하위시리즈를 다중 수준에서 스택형 잔차 학습 기반 분류기에 입력한다.
• 다중 주파수 장기 기억 전이 신경망(mLSTM)을 개발하여, mWDN에서 유도된 고주파 하위시리즈를 별도의 LSTMs로 처리하고 출력을 앙상블하여 예측한다.
• 엔드 투 엔드 백프로파게이션을 활용하여 mWDN 파rameter와 하류 모델 가중치를 함께 최적화함으로써, 주파수 분석을 딥러닝에 원활하게 통합한다.
• 기울기 기반 샐런시 기반 중요도 분석 방법을 도입하여, 예측에 핵심적인 영향을 미치는 시간 시리즈 요소와 mWDN 레이어를 식별한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 신경망 레이어를 완전히 훈련 가능하게 만들 수 있을까? 이는 주파수 분해 능력을 유지하면서 엔드 투 엔드 학습을 가능하게 하는가?
• RQ2 고정된 웨이블릿 전처리 방법과 비교해 볼 때, 훈련 가능한 웨이블릿 분해를 통합함으로써 시간 시리즈 분류 및 예측 성능이 어떻게 향상되는가?
• RQ3 mWDN 프레임워크는 중요한 특징과 레이어를 식별함으로써 시간 시리즈 분석에서 해석 가능한 딥러닝을 지원할 수 있는가?
• RQ4 제안된 mWDN 기반 모델은 표준 시간 시리즈 벤치마크에서 최신 기술 수준의 방법들을 초월하는가?
• RQ5 다양한 주파수 대역이 모델 성능에 얼마나 기여하는가? 이는 정량적으로 평가할 수 있는가?

주요 결과

• RCF는 40개의 UCR 시간 시리즈 분류 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 딥러닝 및 전통적 방법들을 능가했다.
• mLSTM는 실세계 사용자 수 데이터셋에서 뛰어난 예측 정확도를 보이며, 다중 주파수 입력 처리의 유용성을 확인했다.
• 중요도 분석 방법은 핵심 시간 시리즈 세그먼트와 mWDN 레이어를 성공적으로 식별하였으며, 모델의 해석 가능성과 주파수 기여도에 대한 통찰을 제공했다.
• 백프로파게이션을 통한 mWDN의 엔드 투 엔드 훈련은 웨이블릿 파rameter의 글로벌 최적화를 가능하게 하여 고정된 웨이블릿 변환보다 향상된 특징 표현을 제공했다.
• 광범위한 실험을 통해 mWDN를 통한 주파수 인식 모델링이 분류 및 예측 작업 전반에서 일관된 성능 향상을 이끌어냈다.
• 웨이블릿 분해를 딥 네트워크에 학습 가능한 레이어로 통합함으로써, 시간 시리즈를 위한 해석 가능하고 주파수 인식 딥러닝의 실현 가능한 길을 제시한다.