[논문 리뷰] Interpretable Time Series Classification using All-Subsequence Learning and Symbolic Representations in Time and Frequency Domains.

Thach Le Nguyen, Severin Gsponer외 2명|arXiv (Cornell University)|2018. 08. 12.

Time Series Analysis and Forecasting참고 문헌 21인용 수 6

한 줄 요약

이 논문은 SEQL의 탐욕적 특징 선택을 사용하여 시간(비디오) 도메인(SAX)과 주파수(비디오) 도메인(SFA)에서의 기호적 표현을 결합하는 다중 해상도, 다중 도메인 시계열 분류기인 SAX-SFA-SEQL을 제안한다. COTE와 FCN에 비해 유사한 최고 수준의 정확도를 달성하지만, 기호적 패턴 추출을 통해 해석 가능성과 함께 유의미하게 감소된 추론 시간을 제공한다.

ABSTRACT

The time series classification literature has expanded rapidly over the last decade, with many new classification approaches published each year. The research focus has mostly been on improving the accuracy and efficiency of classifiers, while their interpretability has been somewhat neglected. Classifier interpretability has become a critical constraint for many application domains and the introduction of the 'right to explanation' GDPR EU legislation in May 2018 is likely to further emphasize the importance of explainable learning algorithms. In this work we analyse the state-of-the-art for time series classification, and propose new algorithms that aim to maintain the classifier accuracy and efficiency, but keep interpretability as a key design constraint. We present new time series classification algorithms that advance the state-of-the-art by implementing the following three key ideas: (1) Multiple resolutions of symbolic approximations: we combine symbolic representations obtained using different parameters; (2) Multiple domain representations: we combine symbolic approximations in time (e.g., SAX) and frequency (e.g., SFA) domains; (3) Efficient navigation of a huge symbolic-words space: we adapt a symbolic sequence classifier named SEQL, to make it work with multiple domain representations (e.g., SAX-SEQL, SFA-SEQL), and use its greedy feature selection strategy to effectively filter the best features for each representation. We show that a multi-resolution multi-domain linear classifier, SAX-SFA-SEQL, achieves a similar accuracy to the state-of-the-art COTE ensemble, and to a recent deep learning method (FCN), but uses a fraction of the time required by either COTE or FCN. We discuss the accuracy, efficiency and interpretability of our proposed algorithms. To further analyse the interpretability aspect of our classifiers, we present a case study on an ecology benchmark.

연구 동기 및 목표

• GDPR의 '설명 권리'와 같은 규제 요구사항과 증가하는 응용 요구사항으로 인해 기호적 시계열 분류기가 점점 더 필요해지고 있다.
• 정확도나 효율성을 희생시키지 않고도 시계열 분류의 해석 가능성을 향상시키기.
• 다양한 표현 방식으로 생성된 큰 기호어 공간을 효과적으로 탐색할 수 있는 방법 개발.
• 시간 및 주파수 도메인에서의 기호적 근사치를 다중 해상도와 함께 통합하여 모델의 강건성과 해석 가능성을 향상시키기.

제안 방법

• 다양한 해상도 파rameter를 가진 시간 도메인 기호적 근사화(SAX)를 적용하여 시간 도메인 기호적 표현을 수행한다.
• 다른 윈도우 크기와 푸리에 계수를 사용하여 주파수 도메인 기호적 근사화(SFA)를 적용한다.
• 시간 및 주파수 도메인의 기호적 표현을 통합된 특징 공간으로 통합한다.
• SEQL 분류기를 다중 도메인 기호 시퀀스를 처리할 수 있도록 개선하여, 가장 구분력 있는 기호어를 선택하는 탐욕적 특징 선택을 확장한다.
• 기본적인 기호적 특징을 기반으로 선형 분류기를 사용하여 해석 가능성과 계산 효율성을 확보한다.
• SAX와 SFA에 대해 서로 다른 파라미터 설정을 사용하여 모델을 훈련하고 통합하는 다중 해상도 전략을 통해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 시간 및 주파수 도메인에서의 기호적 표현을 결합함으로써 분류 정확도를 향상시키면서도 해석 가능성을 유지할 수 있는가?
• RQ2 다중 해상도 기반 기호적 근사치는 시계열 분류기의 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 SEQL의 탐욕적 특징 선택이 예측 능력을 잃지 않으면서 기호어 공간을 얼마나 효과적으로 줄일 수 있는가?
• RQ4 COTE와 FCN과 같은 최고 수준의 모델과 비교했을 때, 제안된 방법은 정확도, 효율성, 해석 가능성 측면에서 어떤가?

주요 결과

• SAX-SFA-SEQL는 최고 수준의 COTE 앙상블과 딥러닝 모델인 FCN에 비해 유사한 분류 정확도를 달성한다.
• 제안된 방법은 COTE와 FCN보다 유의미하게 더 적은 추론 시간을 요구하여 실시간 응용에 더 효율적이다.
• 기호적 표현의 사용 덕분에 모델의 해석 가능성이 보장되며, 결정은 시간 및 주파수 도메인의 특정 기호 패턴으로 거슬러 올라갈 수 있다.
• 생태학 벤치마크 사례 연구에서는 모델의 예측가능성이 식별 가능한 기호 모티프를 통해 설명 가능함을 입증하여 의사결정의 투명성을 뒷받침한다.
• SEQL의 탐욕적 특징 선택은 가장 관련성이 높은 기호어를 효과적으로 걸러내어 차원을 감소시키면서도 정확도를 유지한다.
• 다양한 해상도와 도메인을 통합함으로써 다양한 시계열 데이터셋에서 더 높은 강건성과 일반화 능력을 확보할 수 있었다.