[논문 리뷰] Motif Difference Field: A Simple and Effective Image Representation of Time Series for Classification

Yadong Zhang, Xin Chen|arXiv (Cornell University)|2020. 01. 21.

Time Series Analysis and Forecasting참고 문헌 14인용 수 5

한 줄 요약

이 논문은 시간 시리즈의 다양한 길이와 이격 거리의 시간 무늬를 2차원 이미지로 표현하는 간단하고 효과적인 이미지 표현 방법인 무늬 차이 필드(Motif Difference Field, MDF)를 제안한다. MDF 이미지에 전결합 신경망(FCN)을 적용함으로써 UCR 시간 시리즈 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 삼중 무늬(길이-3)가 가장 우수한 성능을 보였고, Grad-CAM을 통해 유의미한 순서 패턴을 해석 가능한 방식으로 식별할 수 있었다.

ABSTRACT

Time series motifs play an important role in the time series analysis. The motif-based time series clustering is used for the discovery of higher-order patterns or structures in time series data. Inspired by the convolutional neural network (CNN) classifier based on the image representations of time series, motif difference field (MDF) is proposed. Compared to other image representations of time series, MDF is simple and easy to construct. With the Fully Convolution Network (FCN) as the classifier, MDF demonstrates the superior performance on the UCR time series dataset in benchmark with other time series classification methods. It is interesting to find that the triadic time series motifs give the best result in the test. Due to the motif clustering reflected in MDF, the significant motifs are detected with the help of the Gradient-weighted Class Activation Mapping (Grad-CAM). The areas in MDF with high weight in Grad-CAM have a high contribution from the significant motifs with the desired ordinal patterns associated with the signature patterns in time series. However, the signature patterns cannot be identified with the neural network classifiers directly based on the time series.

연구 동기 및 목표

• 시간 시리즈의 고차원 시간적 구조를 잘 포착하는 간단하고 해석 가능한 이미지 표현 방식을 개발하는 것.
• 기존의 이미지 인코딩 방식이 유의미한 무늬 패턴, 특히 서명 시간적 구조를 정확히 위치시키는 데에 한계가 있음을 해결하는 것.
• 학습된 특징을 의미 있는 순서 기반 무늬 패턴과 연결함으로써 딥 러닝 기반 시간 시리즈 분류의 해석 가능성을 보장하는 것.
• 최신 기술 수준의 방법들과의 비교를 통해 MDF의 성능을 평가하고 표준 시간 시리즈 데이터셋에서의 우월성을 입증하는 것.

제안 방법

• 다양한 길이(n)와 이격 거리(d)를 가진 시간 시리즈 무늬 간의 쌍별 차이를 계산하여 무늬 차이 필드(MDF)를 구성함으로써 2차원 이미지 표현을 형성한다.
• 임의의 이격 거리 d를 가진 일반화된 무늬를 정의함으로써 단위 간격 이웃을 초월한 장거리 시간 패턴 탐지가 가능하도록 한다.
• 삼중 무늬의 상대적 순서를 표현하기 위해 순서 패턴 인코딩(예: 112, 211)을 사용함으로써 구조적 패턴을 압축된 형태로 표현한다.
• MDF 이미지에 전결합 신경망(FCN)을 적용하여 공간적 특징을 학습하고 엔드 투 엔드 분류를 수행한다.
• MDF-FCN에 Gradient-weighted Class Activation Mapping(Grad-CAM)를 적용하여 기여도가 높은 영역을 시각화하고 모델 결정과 특정 무늬 순서 패턴 간의 연결 고리를 명확히 한다.
• Grad-CAM 활성화 강도를 기반으로 무늬 인스턴스 전반에 걸친 기여도를 정규화한 점수 E_j를 사용하여 무늬의 중요도를 순위화한다.

실험 결과

연구 질문

• RQ1 시간 시리즈 무늬 기반의 단순한 이미지 표현 방식이 기존 방법들에 비해 분류 정확도 향상에 기여할 수 있는가?
• RQ2 MDF 프레임워크에서 어떤 무늬 길이(예: 이중, 삼중, 사중)가 가장 높은 분류 성능를 보이는가?
• RQ3 MDF-FCN에 적용된 Grad-CAM이 시간 시리즈 내에서 가장 중요한 순서 기반 무늬 패턴을 효과적으로 식별하고 국소화할 수 있는가?
• RQ4 MDF-FCN 접근법은 직접 원시 시간 시리즈 입력을 사용하는 FCN(TS-FCN)에 비해 성능 및 해석 가능성 측면에서 어떻게 비교되는가?
• RQ5 MDF를 통한 고차원 시간적 구조의 인코딩이 모델 일반화 능력 향상과 특징의 해석 가능성 향상에 어느 정도 기여하는가?

주요 결과

• 삼중 MDF(n=3)에 FCN를 적용한 결과, 20개의 UCR 기준 벤치마크 데이터셋 전반에서 가장 높은 전체 분류 정확도를 기록하였으며, 다른 무늬 길이 및 기존의 이미지 기반 방법들보다 뛰어난 성능를 보였다.
• Grad-CAM에 의해 식별된 상위 두 개의 가장 중요한 순서 기반 무늬 패턴 {112, 211}은 TwoPatterns 데이터셋에서의 네 플랫폼 서명 패턴과 직접적으로 일치하여 그 분류에 대한 관련성이 확인되었다.
• MDF-FCN에 대한 Grad-CAM은 실제로 중요도가 높은 무늬 인스턴스와 일치하는 고활성 영역을 강조함으로써 모델의 해석 가능성성을 검증하였다.
• 반면, TS-FCN(직접 원시 시간 시리즈 입력)에 대한 Grad-CAM은 안정적인 플랫폼보다는 변동성이 큰 영역에 높은 가중치를 할당하여, 구조적 시간 시리즈에서의 열 劣한 성능를 설명할 수 있었다.
• 무늬 정의에서 이격 거리(d)를 변수로 활용함으로써 MDF 표현은 짧은 범위와 장거리 시간적 구조를 효과적으로 인코딩하여 모델이 복잡한 패턴에 더 민감하게 반응하도록 했다.
• 의미 있는 점수 E_j는 무늬 순서 기반 패턴의 정량적 순위를 매길 수 있게 하며, E_v(1) ≥ E_v(2) ≥ … ≥ E_v(m)의 순서는 분류에 가장 분류 능력이 뛰어난 패턴을 나타낸다.