[논문 리뷰] Multi-Scale Convolutional Neural Networks for Time Series Classification

Zhicheng Cui, Wenlin Chen외 1명|arXiv (Cornell University)|2016. 03. 22.

Time Series Analysis and Forecasting참고 문헌 15인용 수 475

한 줄 요약

MCNN은 시계열 분류를 위한 엔드-투-엔드 신경망으로, 다중 스케일 및 다중 주파수 특징을 다중 분기 아키텍처를 통해 학습하고 벤치마크 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Time series classification (TSC), the problem of predicting class labels of time series, has been around for decades within the community of data mining and machine learning, and found many important applications such as biomedical engineering and clinical prediction. However, it still remains challenging and falls short of classification accuracy and efficiency. Traditional approaches typically involve extracting discriminative features from the original time series using dynamic time warping (DTW) or shapelet transformation, based on which an off-the-shelf classifier can be applied. These methods are ad-hoc and separate the feature extraction part with the classification part, which limits their accuracy performance. Plus, most existing methods fail to take into account the fact that time series often have features at different time scales. To address these problems, we propose a novel end-to-end neural network model, Multi-Scale Convolutional Neural Networks (MCNN), which incorporates feature extraction and classification in a single framework. Leveraging a novel multi-branch layer and learnable convolutional layers, MCNN automatically extracts features at different scales and frequencies, leading to superior feature representation. MCNN is also computationally efficient, as it naturally leverages GPU computing. We conduct comprehensive empirical evaluation with various existing methods on a large number of benchmark datasets, and show that MCNN advances the state-of-the-art by achieving superior accuracy performance than other leading methods.

연구 동기 및 목표

• 전통적인 특징 추출+분류 파이프라인을 넘어 TSC 정확도와 효율성을 향상시키려는 동기를 부여한다.
• 특징 표현과 분류를 공동으로 학습하는 엔드-투-엔드 MCNN 아키텍처를 제안한다.
• 다중 스케일 정보를 포착하기 위해 시간 및 주파수 도메인 간의 변환을 통합한다.
• 더 작은 TSC 데이터셋에서 일반화를 향상시키기 위해 데이터 증강을 활용한다.

제안 방법

• 변환, 로컬 컨볼루션, 전체 컨볼루션의 세 단계로 MCNN을 도입한다.
• 변환 단계는 다운샘플링과 이동평균을 통한 다중 주파수 스펙트럼을 사용하여 다중 스케일 가지를 생성한다.
• 로컬 컨볼루션 단계는 각 가지에 독립적인 1-D 컨볼루션을 적용하고 다중 크기의 맥스풀링을 수행한다.
• 전체 컨볼루션 단계는 가지 출력을 연결하고 추가 컨볼루션과 소프트맥스 분류기를 적용한다.
• 교차 엔트로피 손실과 역전파를 사용하여 모델을 엔드-투-엔드로 학습한다.
• 작은 데이터셋의 학습 크기를 늘리기 위한 윈도우 슬라이싱을 통한 데이터 증강을 활용한다.

실험 결과

연구 질문

• RQ1 MCNN은 수작업으로 설계된 특징 없이도 TSC를 위한 판별 가능한 특징을 자동으로 학습할 수 있는가?
• RQ2 다중 스케일 및 다중 주파수 가지가 단일 스케일 CNN과 비교하여 분류 정확도를 향상시키는가?
• RQ3 표준 벤치마크(UCR 데이터셋)에서 MCNN의 성능은 최첨단 TSC 방법과 어떻게 비교되는가?

주요 결과

• 대부분의 데이터셋에서 MCNN이 우수한 정확도를 달성하고 많은 선도적 방법을 능가한다.
• UCR 데이터셋 44개 중 41개에서 MCNN은 동일 파라미터 수를 갖는 표준 CNN을 능가한다.
• MCNN의 평균 순위는 3.95로 최상위 앙상블 방법인 COTE와 경쟁적이며 대부분의 베이스라인보다 낫다.
• 이항검정 및 Wilcoxon 부호 순위 검정에서 1% 유의수준으로 BOSS와 COTE를 제외하고 대부분의 방법을 크게 능가한다.
• 윈도우 슬라이싱을 통한 데이터 증강은 작은 데이터셋에서 MCNN의 일반화에 도움이 되고, 큰 데이터셋에서도 증강 없이도 MCNN은 여전히 강력하다.