[논문 리뷰] Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline

Zhiguang Wang, Weizhong Yan외 1명|arXiv (Cornell University)|2016. 11. 20.

Time Series Analysis and Forecasting참고 문헌 12인용 수 47

한 줄 요약

이 논문은 원시 데이터에 대한 순수 엔드 투 엔드 훈련을 사용하여 시계열 분류를 위한 단순하지만 매우 효과적인 딥러닝 베이스라인을 제안한다. 완전 컨volution 네트워크(FCN)와 ResNet 아키텍처는 특성 공학이나 전처리 없이 44개의 UCR 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, FCN는 COTE 및 MCNN를 포함한 이전 방법들을 능가한다.

ABSTRACT

We propose a simple but strong baseline for time series classification from scratch with deep neural networks. Our proposed baseline models are pure end-to-end without any heavy preprocessing on the raw data or feature crafting. The proposed Fully Convolutional Network (FCN) achieves premium performance to other state-of-the-art approaches and our exploration of the very deep neural networks with the ResNet structure is also competitive. The global average pooling in our convolutional model enables the exploitation of the Class Activation Map (CAM) to find out the contributing region in the raw data for the specific labels. Our models provides a simple choice for the real world application and a good starting point for the future research. An overall analysis is provided to discuss the generalization capability of our models, learned features, network structures and the classification semantics.

연구 동기 및 목표

• 원시 데이터에 직접 작동하는 단순하고 견고하며 효과적인 딥러닝 베이스라인을 시계열 분류에 확립하기.
• 데이터 전처리나 특성 공학 없이 완전 컨volution 네트워크(FCN), 잔차 네트워크(ResNet), 다층 퍼셉트론(MLP)의 엔드 투 엔드 성능을 평가하기.
• 딥 네트워크의 일반화 능력, 학습된 특징, 네트워크 구조 및 분류 의미론을 시계열 분류에서 분석하기.
• 실제 응용에 쉽게 구현 가능한 실용적이고 강력한 시작점이 되는 베이스라인을 제공하기.

제안 방법

• 제안된 방법은 3개의 컨볼루션 블록을 포함하는 완전 컨볼루션 네트워크(FCN)를 사용하며, 각 블록은 1차원 컨볼루션 레이어, 배치 정규화, ReLU 활성화 함수, 드롭아웃 정규화를 포함한다.
• 최종 컨볼루션 레이어 이후로 글로벌 평균 풀링을 적용하여 공간 차원을 감소시키고, 설명 가능성 향상을 위해 클래스 활성화 맵(CAM) 시각화를 가능하게 한다.
• 더 깊은 네트워크 훈련을 가능하게 하고 기울기 흐름 및 복잡한 시계열에서의 일반화 능력을 향상시키기 위해 잔차 블록을 사용하여 ResNet을 구현한다.
• 간단한 그러나 효과적인 베이스라인으로서, ReLU 활성화 함수와 드롭아웃 정규화를 사용하는 3개의 완전 연결 레이어를 사용하는 MLP 베이스라인을 구현한다.
• 모든 모델은 데이터 증강, 윈도우링, 특성 추출 없이 원시 시계열 데이터에 대해 엔드 투 엔드로 훈련된다.
• 성능 평가에는 여러 데이터셋 간 모델 비교에 유용한 안정적인 메트릭인 평균 쌍별 분류 오차(MPCE)를 사용하며, 통계적 유의성은 쌍체 t-검정 및 윌코크슨 부호 순위 검정을 통해 평가된다.

실험 결과

연구 질문

• RQ1 특성 공학이나 데이터 전처리 없이도 단순한 엔드 투 엔드 딥 네트워크가 시계열 분류에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 FCN, ResNet, MLP의 학습된 표현 및 분류 행동은 COTE, BOSS, MCNN와 같은 기존 방법들과 어떻게 비교되는가?
• RQ3 글로벌 평균 풀링이 시계열 분류에서 클래스 활성화 맵(CAM)을 통해 어떤 정도의 해석 가능성을 제공하는가?
• RQ4 이러한 딥러닝 모델들은 다양한 실세계 시계열 데이터셋에서 일반화 능력이 얼마나 되는가, 특히 전통적인 거리 기반 및 특징 기반 베이스라인과 비교하여?
• RQ5 다양한 네트워크 아키텍처(MLP, FCN, ResNet)는 분류 의미론과 특징 공간 구성 측면에서 어떻게 다를까?

주요 결과

• FCN는 44개의 UCR 기준 데이터셋에서 COTE 및 MCNN와 같은 최신 기술 수준의 방법들을 능가하는 뛰어난 성능을 보이며, 윌코크슨 부호 순위 검정에서 p-값 0.8445로 COTE와 유의미한 차이가 없음을 나타내지만, 평균 MPCE에서 더 우수하다.
• ResNet 모델은 경쟁력 있는 성능을 보이며, FCN에 비해 略적으로 낮지만, COTE와의 윌코크슨 검정에서 p-값 0.8347로 유사한 성능임을 시사한다.
• MLP 베이스라인은 동적 시간 왜곡을 사용한 1-Nearest-Neighbor(1NN-DTW)와 유사한 성능을 보이며, p-값 0.7575로 유의미한 차이가 없음을 나타낸다.
• FCN와 ResNet 모델은 주성분 분석(PCA)으로 감소된 특징 공간에서 유사한 군집을 보이며, 유사한 학습된 표현을 가짐을 시사한다. 반면 MLP는 고립되어 있어 다른 분류 의미론을 가짐을 나타낸다.
• 글로벌 평균 풀링의 사용은 클래스 활성화 맵(CAM) 시각화를 가능하게 하여 각 클래스에 대한 구분 가능한 시간 영역를 원시 시계열에서 식별할 수 있게 하여 모델의 해석 가능성을 향상시킨다.
• MPCE 메트릭은 여러 데이터셋에 걸쳐 여러 모델을 비교하는 데 있어 안정적이고 편향 없는 평가 프레임워크를 제공하며, FCN와 ResNet가 잘 일반화되며 기존 접근법과 상호보완적임을 드러낸다.