[논문 리뷰] Rethinking 1D-CNN for Time Series Classification: A Stronger Baseline.

Wensi Tang, Guodong Long외 4명|arXiv (Cornell University)|2020. 02. 24.

Time Series Analysis and Forecasting참고 문헌 26인용 수 95

한 줄 요약

이 논문은 시간 시리즈 분류를 위해 그리드 서치 없이도 동적으로 최적의 커널 크기를 학습할 수 있는 새로운 아키텍처인 옴니스케일 1D-CNN(OMNI-CNN)을 제안한다. 다양한 수용 필드를 커버하기 위해 전략적으로 구성된 소수의 커널 크기를 활용함으로써, OS-CNN는 85개의 UCR 데이터셋에서 기존의 1D-CNN 기반 모델들보다 뛰어난 성능을 기록하며 정확도, 승리 수, 통계적 유의성 측면에서 모두 앞서나간다.

ABSTRACT

For time series classification task using 1D-CNN, the selection of kernel size is critically important to ensure the model can capture the right scale salient signal from a long time-series. Most of the existing work on 1D-CNN treats the kernel size as a hyper-parameter and tries to find the proper kernel size through a grid search which is time-consuming and is inefficient. This paper theoretically analyses how kernel size impacts the performance of 1D-CNN. Considering the importance of kernel size, we propose a novel Omni-Scale 1D-CNN (OS-CNN) architecture to capture the proper kernel size during the model learning period. A specific design for kernel size configuration is developed which enables us to assemble very few kernel-size options to represent more receptive fields. The proposed OS-CNN method is evaluated using the UCR archive with 85 datasets. The experiment results demonstrate that our method is a stronger baseline in multiple performance indicators, including the critical difference diagram, counts of wins, and average accuracy. We also published the experimental source codes at GitHub (this https URL).

연구 동기 및 목표

• 시간 시리즈 분류를 위한 1D-CNN에서 커널 크기 선택을 위한 그리드 서치의 비효율성과 열등한 성능 문제를 해결하기 위해.
• 커널 크기가 1D-CNN 성능에 미치는 영향을 이론적으로 분석하여, 중요한 시간적 패턴을 효과적으로 포착하는 데 기여하는 바를 규명하기 위해.
• 학습 과정에서 최적의 수용 필드 스케일을 자동으로 학습할 수 있도록 하는 새로운 아키텍처를 개발하기 위해.
• 지능적인 커널 크기 구성으로 모델 용량을 향상시켜, 시간 시리즈 분류에서 1D-CNN에 대해 더 강력한 기반 모델을 확립하기 위해.

제안 방법

• 다양한 커널 크기를 하나의 통합 컨볼루션 블록에 통합하는 새로운 옴니스케일 1D-CNN(OMNI-CNN) 아키텍처를 제안한다.
• 다양한 수용 필드를 효과적으로 커버하기 위해 최소한의 커널 크기 조합을 철저히 선택하여 전략적인 커널 크기 구성 전략을 설계한다.
• 다양한 스케일의 커널을 하나의 컨볼루션 레이어에 통합하여, 학습 과정에서 가장 관련성이 높은 스케일을 종합적으로 학습할 수 있도록 한다.
• 다양한 커널 크기 간에 공유된 특징 맵을 사용함으로써 계산 효율성을 유지하면서도 표현 능력을 향상시킨다.
• 표준 최적화 방법을 사용해 엔드 투 엔드로 모델을 훈련시켜, 네트워크가 각 시간 시리즈 패턴에 가장 효과적인 커널 크기를 자동으로 학습하도록 한다.
• 정확도, 크리티컬 디퓨런스 다이어그램, 승리 수를 포함한 표준 지표를 사용해, 전체 UCR 시간 시리즈 아카이브(85개 데이터셋)에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 커널 크기 선택은 시간 시리즈 분류 작업에서 1D-CNN의 성능에 어떤 영향을 미치는가?
• RQ2 1D-CNN 모델은 그리드 서치에 의존하지 않고도 학습 과정에서 최적의 커널 크기를 동적으로 학습할 수 있는가?
• RQ3 시간 시리즈 데이터에서 다양한 수용 필드를 효과적으로 커버하기 위해 필요한 최소한의 커널 크기 조합은 무엇인가?
• RQ4 제안된 OS-CNN 아키텍처는 다양한 시간 시리즈 데이터셋에서 정확도와 강건성 측면에서 표준 1D-CNN 기반 모델과 비교해 어떻게 다른가?
• RQ5 이러한 방법은 시간 시리즈 분류에서 기존의 1D-CNN 접근 방식보다 더 강력한 기반 모델이 될 수 있는가?

주요 결과

• OS-CNN는 85개의 UCR 데이터셋 전반에서 기존의 1D-CNN 기반 모델들보다 더 높은 평균 정확도를 기록한다.
• 제안된 방법은 UCR 벤치마크에서 이변량 비교를 통해 기반 모델들보다 더 많은 승리를 기록한다.
• 크리티컬 디퓨런스 다이어그램에서 OS-CNN는 표준 1D-CNN보다 통계적으로 유의미한 우월성을 보이며, 뛰어난 성능을 입증한다.
• 모델의 성능은 다양한 시간 시리즈 데이터에서 뛰어난 강건성을 보이며, 설계된 커널 크기 구성 전략의 효과성을 확인한다.
• 최적의 커널 크기를 엔드 투 엔드로 학습함으로써 시간 소모가 큰 그리드 서치의 필요성을 줄여 훈련 효율성을 향상시킨다.
• 소스 코드는 GitHub에 공개되어 있어 재현성과 향후 벤치마크에 용이하다.