[논문 리뷰] Generalised Interpretable Shapelets for Irregular Time Series

Patrick Kidger, James Morrill외 1명|arXiv (Cornell University)|2020. 05. 28.

Time Series Analysis and Forecasting참고 문헌 27인용 수 6

한 줄 요약

이 논문은 해석 가능한 비정규 샘플링 다변량 시계열 특징의 엔드 투 엔드 미분 가능 학습을 가능하게 하는 형태소 변환의 연속시간 일반화를 제안한다. 연속시간에서 형태소를 정의하고 가속 가능한 가상 거리측도를 도입함으로써, 높은 성능과 동시에 해석 가능성을 확보하였다. 이는 손글씨 숫자에서의 나비형 대칭성과 음성 신호에서의 스펙트럼 갭과 같은 구조적 패턴을 탐지함으로써 입증되었다.

ABSTRACT

The shapelet transform is a form of feature extraction for time series, in which a time series is described by its similarity to each of a collection of `shapelets'. However it has previously suffered from a number of limitations, such as being limited to regularly-spaced fully-observed time series, and having to choose between efficient training and interpretability. Here, we extend the method to continuous time, and in doing so handle the general case of irregularly-sampled partially-observed multivariate time series. Furthermore, we show that a simple regularisation penalty may be used to train efficiently without sacrificing interpretability. The continuous-time formulation additionally allows for learning the length of each shapelet (previously a discrete object) in a differentiable manner. Finally, we demonstrate that the measure of similarity between time series may be generalised to a learnt pseudometric. We validate our method by demonstrating its performance and interpretability on several datasets; for example we discover (purely from data) that the digits 5 and 6 may be distinguished by the chirality of their bottom loop, and that a kind of spectral gap exists in spoken audio classification.

연구 동기 및 목표

• 기존 형태소 변환은 정규 샘플링 및 완전 관측된 시계열에 국한되어 있어 이를 초월하고자 한다.
• 형태소 길이와 위치를 이산 하이퍼파라미터 검색 없이도 미분 가능하게 최적화하고자 한다.
• 단순한 정규화 페널티를 통해 효율적인 학습을 유지하면서도 해석 가능성을 유지하고자 한다.
• 시계열과 형태소 간의 유사도 측도를 개선된 도메인 적응을 위해 학습 가능한 가상 거리측도로 일반화하고자 한다.
• 손글씨 숫자에서의 나비형 대칭성과 음성에서의 스펙트럼 갭과 같은 의미 있는 데이터 기반 패턴을 탐지하고자 한다.

제안 방법

• 비정규 샘플링 및 부분 관측된 다변량 시계열을 다룰 수 있도록 연속시간에서 형태소 변환을 정의한다.
• 형태소를 시간에 대한 연속 함수로 표현함으로써 길이와 시간적 위치의 미분 가능 최적화를 가능하게 한다.
• 형태소가 데이터 내에서 주목할 만한 해석 가능한 특징를 띠도록 유도하는 정규화 페널티를 도입한다.
• 기존의 L2 이질성 측도를 대각행렬 A를 통해 학습 가능한 가상 거리측도로 일반화함으로써 채널 별 유사도 가중치를 부여한다.
• 음성 분류 작업에서 음성의 MFC(Mel-frequency cepstral) 표현을 일반화된 형태소 변환의 입력으로 사용한다.
• 형태소 변환을 통해 엔드 투 엔드 백프로파게이션을 수행하여 형태소와 하류 분류기의 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 비정규 샘플링 및 부분 관측된 다변량 시계열에 대해 해석 가능성을 유지하면서 형태소 학습을 일반화할 수 있는가?
• RQ2 형태소 길이를 이산 하이퍼파라미터가 아닌 연속적인 최적화로 다룰 수 있는가?
• RQ3 간단한 정규화 전략이 해석 가능성을 유지하면서도 학습 효율성을 저하시키지 않는가?
• RQ4 학습 가능한 가상 거리측도가 성능 향상과 채널 간 기여도에 대한 통찰을 제공할 수 있는가?
• RQ5 실제 시계열 데이터에서 새로운 해석 가능한 패턴, 예를 들어 손글씨 숫자의 나비형 대칭성 또는 음성 신호의 스펙트럼 갭을 탐지할 수 있는가?

주요 결과

• 일반화된 형태소 변환은 음성 명령 데이터셋에서 91.9% ± 2.4%의 테스트 정확도를 달성하여 기존 형태소 변환(44.8% ± 8.6%)을 크게 능가하였다.
• PenDigits 데이터셋에서 50%의 훈련 데이터로도 93.5% ± 1.1%의 정확도를 기록하여 소규모 데이터셋에서도 뛰어난 성능을 보였다.
• 모델은 숫자 5와 6이 하단 루프의 방향성(나비형 대칭성)에 의해 데이터로부터 순수하게 구분됨을 발견하였다.
• 음성 분류 작업에서 학습된 가상 거리측도는 스펙트럼 갭을 식별하였으며, 첫 15개의 멜 주파수 케프스트럼 계수에 더 높은 가중치를 할당함으로써 저주파 성분의 중요성을 확인하였다.
• MFC 공간에서 학습된 형태소는 청각적으로 해석 가능한 특징를 띠었으며, 음성으로 복원했을 때 'eft' 또는 'stop'과 같은 의미 있는 소리를 띠었으며, 이는 분류에 기여하는 특징를 잘 포착하고 있음을 시사한다.
• 정규화와 시각화를 통해 해석 가능성을 유지하면서도, Libras 및 LSST를 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 달성하였다.