[논문 리뷰] Multi-Modal Prototype Learning for Interpretable Multivariable Time Series Classification

Gaurav R. Ghosal, Reza Abbasi-Asl|arXiv (Cornell University)|2021. 06. 17.

Time Series Analysis and Forecasting참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다변량 시계열 분류의 해석 가능성을 위한 모듈러하고 다단계 프로토타입 학습 프레임워크를 제안한다. 먼저 대비 학습을 통해 단일 변수 프로토타입을 학습한 후, 이를 조합하여 다변량 프로토타입을 형성하여 변수 간 패턴을 포착한다. 이 방법은 상태 기반 분류 성능를 달성하면서도 개인별 변수 패턴과 그들의 클래스 구별 가능한 관계에 대한 인간이 이해할 수 있는 통찰을 제공한다. 이는 합성 데이터와 실제 인간 활동 인식 데이터를 통해 검증되었다.

ABSTRACT

Multivariable time series classification problems are increasing in prevalence and complexity in a variety of domains, such as biology and finance. While deep learning methods are an effective tool for these problems, they often lack interpretability. In this work, we propose a novel modular prototype learning framework for multivariable time series classification. In the first stage of our framework, encoders extract features from each variable independently. Prototype layers identify single-variable prototypes in the resulting feature spaces. The next stage of our framework represents the multivariable time series sample points in terms of their similarity to these single-variable prototypes. This results in an inherently interpretable representation of multivariable patterns, on which prototype learning is applied to extract representative examples i.e. multivariable prototypes. Our framework is thus able to explicitly identify both informative patterns in the individual variables, as well as the relationships between the variables. We validate our framework on a simulated dataset with embedded patterns, as well as a real human activity recognition problem. Our framework attains comparable or superior classification performance to existing time series classification methods on these tasks. On the simulated dataset, we find that our model returns interpretations consistent with the embedded patterns. Moreover, the interpretations learned on the activity recognition dataset align with domain knowledge.

연구 동기 및 목표

• 딥 러닝 모델이 종종 블랙박스처럼 작동하기 때문에, 다변량 시계열 분류에서의 해석 가능성 문제를 해결하기 위해.
• 단일 변수 패턴과 변수 간 관계를 투명하고 해석 가능한 방식으로 명시적으로 모델링하기 위해.
• 다양한 노이즈 수준, 시간 스케일, 영역을 가진 이질적인 변수들 간의 프로토타입을 효과적으로 학습할 수 있도록 모듈러한 훈련 절차를 개발하기 위해.
• 합성 데이터에서 알려진 내장된 패턴과 실제 인간 활동 인식 데이터에서의 도메인 지식을 기반으로 학습된 프로토타입의 해석 가능성 검증하기 위해.
• 예를 들어, 신호 주파수와 진폭에 따라 운동 유형을 구분할 수 있는 의미 있는 도메인에 맞는 해석을 드러내기 위해.

제안 방법

• 각 변수에 대해 별도의 인코더를 사용하며, 대비 학습을 통해 개별 시계열에서 의미 있는 특징을 추출한다.
• 단일 변수 프로토타입 레이어는 각 샘플을 각 변수의 특징 공간 내에서 학습된 프로토타입과의 유사도 점수로 표현한다.
• 모든 변수의 유사도 점수를 연결하여 본질적으로 해석 가능한 다변량 표현을 형성한다.
• 두 번째 프로토타입 레이어는 연결된 유사도 표현을 군집화하여 변수 간 클래스 구별 가능한 패턴을 식별한다.
• 이 방법은 이중 단계 훈련 절차를 사용한다: 먼저 인코더와 단일 변수 프로토타입을 사전 훈련하고, 이후에 다변량 프로토타입 레이어를 공동으로 훈련한다.
• 모델 기반의 해석 가능성을 제공하기 위해, 분류에 가장 관련이 깊은 변수 패턴과 그 조합을 명시적으로 식별한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 프레임워크는 다변량 시계열에서 단일 변수 패턴과 변수 간 패턴을 효과적으로 학습하고 표현할 수 있는가?
• RQ2 프레임워크는 합성 데이터의 알려진 패턴과 실제 데이터에서의 도메인 지식과 일치하는 해석을 생성하는가?
• RQ3 기존의 딥 러닝 방법에 비해 이 모델의 해석 가능성은 명확성과 과학적 통찰 측면에서 어떻게 비교되는가?
• RQ4 모델은 주파수와 진폭과 같은 특정 신호 특성에 기반하여 클래스를 얼마나 잘 구별할 수 있는가?
• RQ5 다른 활동에 대해 동일한 변수에서 유사한 신호를 보이는 겹치는 패턴을 프레임워크가 드러낼 수 있는가?

주요 결과

• 시뮬레이션된 데이터셋에서, 모델은 내장된 패턴을 성공적으로 복원했으며, 도끼질은 고주파수, 저진폭 신호임을 올바르게 식별했고, 걷기는 저주파수, 저진폭, 달리기는 고주파수, 변동 진폭 신호임을 확인했다.
• 인간 활동 인식 작업에서, 다변량 프로토타입은 도끼질과 간질 클래스가 첫 번째 변수에서 유사한 패턴을 공유하고 있음을 드러내어, 신호 특성 측면에서 잠재적인 겹침이 있음을 시사했다.
• 걷기, 달리기, 도끼질에 대해 원-핫 인코딩된 다변량 프로토타입을 식별하여 각 클래스가 각 변수에서 단일 주요 패턴과 연결되어 있음을 보여주었고, 이는 쉽게 구별 가능함을 의미했다.
• 간질 클래스의 경우 첫 번째 변수 블록에서 두 개의 비영 요소가 나타나, 두 가지의 별개의 신호 패턴이 존재함을 시사했으며, 이는 UMAP 시각화와 함께 확인되었고 다변량 프로토타입 구조에 의해 드러났다.
• 기존 방법과 비교해 유사하거나 우수한 분류 성능를 보였고, 도메인 지식에 기반한 인간이 읽을 수 있는 세부적인 해석을 제공했다.
• 이 방법은 세분화된 특징 중요도 분석을 가능하게 하여, 일부 변수가 다른 변수보다 분류 구별에 더 기여하는 것으로 나타났고, 어떤 특정 패턴이 분류에 가장 관련이 깊은지 드러냈다.